solutions/integrations-techies.md

Интеграции ESB и Data Lake: гибкая IT-архитектура

По нашим наблюдениям, в 90 % случаев бизнес строит ИТ-архитектуру с критическими просчётами, что в результате оборачивается рядом осложнений

Мы строим ИТ-инфраструктуру при помощи ESB и data lake через слабую связанность ИТ-систем, что решает все вышеизложенные проблемы!

Обсудить проблему

Сравнение типов интеграций

Скачать материал Время заполнения – 10 минут

Рентабельность

Просчёты в построении ИТ-инфраструктуры не так заметны в начале, но чрезвычайно вредоносны при дальнейшем развитии

ИТ-инфраструктура

Выход — построение сервис-ориентированной ИТ-архитектуры на основе сервисной шины предприятия (ESB) и озера данных (data lake) через подход слабой связанности модулей ИТ-систем

Обсудить проблему

Сравнение типов интеграций

Скачать материал Время заполнения – 10 минут

Это как переводчик, который всегда услышит, поймёт и понятно объяснит

И может общаться с целой группой туристов из разных стран – без каких-либо задержек и одновременно с каждым!

Разберём на конкретных примерах, как внедрение ESB и data lake:

исключает потерю данных;

снижает нагрузку ИТ-системы;

упрощает анализ данных;

обеспечивает простоту замены ИТ-систем

1. ESB сама контролирует доступность системы и сети, сама забирает и доставляет сообщения

Снижается нагрузка на системы

Исключается потеря данных

Проверяются актуальность и дубликация данных что тоже снижает нагрузку на инфраструктуру

2. Сочетание ESB и data lake обеспечивает лёгкость аналитики

ESB объединяет данные из разных систем и приводит их к единому стандарту в DWH. DWH хранит разобранные данные, благодаря чему можно легко и быстро получать стандартные срезы

Data lake, неразобранные данные всех систем предприятия, позволяет подготавливать любой срез данных

Проверяются актуальность и дубликация данных, что также снижает нагрузку на инфраструктуру. Добавление новых источников данных не составит труда, а для замены BI-платформы не потребуется сложная перенастройка

3. Всегда легко получить ретроспективу сообщений и подготовить полный разбор инцидента в случае сбоя

4. Лёгкая миграция с одной ИТ-системы на другую того же типа, поскольку вся интеграционная логика уже реализована в middleware

5. За счёт единого слоя middleware для всех систем, подключённых к ESB, снижается нагрузка посредством оркестрации потоков

Оркестрация потоков

Оптимизирует и кардинально снижает нагрузку на ИТ-системы

–

Отправляет данные только тем, кому нужно, и только в том виде, который нужен

–

Учитывает оптимальные условия отправки: ‍ – время исходя из нагрузки систем, – контроль дублей, – учет актуальности данных

Обсудить проблему

Сравнение типов интеграций

Скачать материал Время заполнения – 10 минут

Разработали целевую схему интеграции систем для производственного предприятия. Внедрили технологию ESB и запустили 48 потоков

Точка А В EKF отсутствует актуальная карта ИТ-интеграций, связанность систем сильна, центральная ERP перегружена, возможны лаги и потери данных, что замедляет бизнес-процессы. ‍ Точка Б Внедрена централизованная система на базе Pimcore, интегрированная через WSO2 ESB. Карточки товаров стандартизированы, данные синхронизируются автоматически, обеспечена возможность масштабирования и контроля через брокеры сообщений и систему логирования.

Разработали единый API для быстрого подключения свыше 200 систем «1C:Розница»

Точка А Polaris управляет товарами вручную, что требует значительных ресурсов и создаёт сложности при взаимодействии с маркетплейсами из-за разрозненности данных. ‍ Точка Б Внедрена централизованная система на базе Pimcore, интегрированная через WSO2 ESB. Карточки товаров стандартизированы, данные синхронизируются автоматически, обеспечена возможность масштабирования и контроля через брокеры сообщений и систему логирования.

Разработали единый API для быстрого подключения200+ систем «1С:Розница»

Точка А Архитектура интеграции формата «точка – точка» между «1C:ERP Управление предприятием» и более чем 200 системами «1C:Розница» привела к перегрузкам, неактуальности данных и отсутствию прозрачности. ‍ Точка Б Внедрение единого API-коннектора на сущность упростило синхронизацию данных, исключив множество точечных коннекторов. Добавление новых торговых точек теперь быстрое, а мониторинг обеспечивает прозрачность и контроль.

Для сети Fix Price разработали портал поставщика и автоматизировали работу с данными о товарах

Точка А Ручной сбор и передача данных о товарах через мессенджеры и email, что приводило к ошибкам и промедлениям. Проблемы с синхронизацией данных между системами. ‍ Точка Б Автоматизация через Pimcore и Mule ESB. В личном кабинете поставщики вносят данные, которые автоматически передаются в системы, благодаря чему повышаются качество и скорость их обработки. Шина ESB упрощает интеграцию и управление данными.

Переработали ИТ-архитектуру и составили дорожную карту её трансформации для ретейлера музыкальных товаров «Музторг»

Точка А Компания «Музторг» имеет проблемы с устаревшей ИТ-архитектурой, которые выливаются в высокие затраты на её поддержание, неэффективность взаимодействия систем и риски потери данных. ‍ Точка Б Разработана новая архитектура с внедрением MDM- и ESB-решений, позволяющая оптимизировать работу информационных систем, обеспечить масштабируемость, улучшить качество данных и ускорить интеграцию с внешними сервисами.

Внедрили масштабируемую сервисную шину для «АТИМО»

Точка А Стартап «АТИМО» сталкивался с проблемой масштабирования своей системы. Каждый новый контрагент требовал создания прямого подключения к базе данных, что вело к значительным ресурсным затратам и повышенным рискам информационной безопасности. ‍ Точка Б Внедрение сервисной шины (ESB) позволило упростить подключение таксопарков, ускорить обработку данных, уменьшить нагрузку на серверы, а также усилить безопасность за счёт исключения прямых подключений. Архитектура стала легко масштабируемой, что позволило подключить 20 таксопарков с 42 базами данных и значительно сократить объём ресурсов, требуемых для выполнения каждого запроса.

Оставляйте заявку на разбор вашей ситуации:

Обсудить проблему

Сравнение типов интеграций

Скачать материал Время заполнения – 10 минут

Подберем проверенные международные продукты с открытым кодом

Мы используем Opensource решения, поэтому наши клиенты сокращают расходы на оплату лицензий без риска ограничений со стороны законодательства разных стран.

Mulesoft Logo

Графическая студия для создания коннекторов

Простая и гибкая low-code платформа, входящая в состав компании Salesforce с выручкой более 30 млн $ в год. Мы используем версию Community Edition.

Gitlab Logo

Контроль версий и настройка прав доступа (ролей)

Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей.

PostgresSQL Logo

База данных (хранилище)

Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет.

Elastic Stack Logo

Хранение, анализ, поиск по логам

Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.

Grafana Logo

Дашборды с информацией о состоянии потоков

Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных.

No items found.

Если у вас есть предпочтения, можем использовать и другие продукты. В том числе с платной лицензией

База данных

[MongoDB

Arrow Black ](#)

[Hadoop

Arrow Black ](#)

[Arenadata

Arrow Black ](#)

[postresql

Arrow Black ](#)

Брокер сообщений

[ActiveMQ

Arrow Black ](#)

[rabbitmq

Arrow Black ](#)

[Kafka

Arrow Black ](http://www.kt-team.ru/enterprise-service-bus/apache-kafka)

ETL (extract, transform, load)

[Ballerina

Arrow Black ](#)

[Nifi

Arrow Black ](#)

[Datareon

Arrow Black ](http://www.kt-team.ru/enterprise-service-bus/datareon)

[WSO2

Arrow Black ](http://www.kt-team.ru/enterprise-service-bus/wso2-esb)

[MuleSoft

Arrow Black ](http://www.kt-team.ru/enterprise-service-bus/mule-esb)

[Talend

Arrow Black ](http://www.kt-team.ru/enterprise-service-bus/talend-esb)

BI (система аналитики)

[Yandex Datalens

Arrow Black ](#)

[Redash

Arrow Black ](#)

[Google Data Studio

Arrow Black ](#)

[Microsoft Power BI

Arrow Black ](#)

Типовая схема работы

Мы выстроили процесс внедрения так, чтобы вы получили максимум пользы. Вы можете пройти с нами весь путь. Или заказать любой из шагов отдельно, а остальное передать своей команде.

1. Проектирование слабо связанной архитектуры

Проведем анализ действующей IT-архитектуры, ASIS;
Проработаем обмены по ключевым сущностям;
Спроектируем архитектуру TOBE;
Подготовим roadmap перехода на новую архитектуру;
Подготовим рекомендации; по инструментам;
Подготовим документацию.

Location Icon

Вы получите

План перехода с учетом особенностей бизнеса

2. Перевод самых актуальных для вас потоков

BPMN-cхемы процессов потоков;
Разворачивание и настройка необходимых компонент (ETL, хранилище, логирование, мониторинг);
Настройка коннекторов;
Настройка сбора логов и мониторинга работы интеграции;
Документирование и обучение.

Shield Icon

Вы получите

Решение 80% проблем обмена данными между системами

3. Перевод остальных потоков для наполнения хранилища данных

BPMN-cхемы процессов потоков;
Настройка коннекторов;
Настройка сбора логов и мониторинга работы интеграции;
Документирование и обучение.

Gear Icon

Вы получите

Eдиный механизм обмена всего предприятия и полноту данных для аналитики

Калькулятор проекта

Стоимость разработки

5 775 000 рублей

Команда разработает за

6 недель

Скопировать результат

Скопировано

Включено в расчет

Cross or Plus Icon

Подготовка карты систем и потоков данных (SOA схема);
Проработаем обмены по ключевым сущностям;
Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод);
Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга;
Документация по копированию интеграции, переиспользованию, обслуживанию;
Демонстрация реализованного функционала.

Дополнительные работы

Cross or Plus Icon

Подготовка инфраструктуры для работы коннекторов;
Настройка контура мониторинга и логирования;
Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод);
Свыше 15 атрибутов для каждого потока;
Стоимость вычислительных ресурсов (только для подписки);

Сколько потоков системы будут отправлять

Пример: «Система управления товарами» будет отправлять данные о товарах. «Система управления заказами» — о заказах. «Система управления складом» — о статусе отгрузки. Это 3 потока.

100

Пример: «Система управления складом» будет принимать данные о товарах и заказах. «Система управления заказами» — о товарах и статусе отгрузки. Это 4 потока.

Сколько потоков системы будут принимать

100

Обсудить проект

Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.

Обсудить проект

YouTube