Команда разработки корпоративного хранилища данных (DWH)
Задача
Запустить проект миграции текущего КХД Oracle на открытый исходный код, собрав команду высококвалифицированных специалистов (Старший инженер данных, ETL-разработчик, Старший аналитик данных) в банковском секторе.
Технологический набор
- Hadoop, GreenPlum, S3, ClickHouse;
- Airflow, Spark, Kafka, Debezium;
- Superset.
Как мы решили задачу
- Использовали ресурсы текущей ИТ-команды Ekleft.
- Ввиду глубоких требований к компетенциям (нагрузка, архитектура, ширина объектной модели, НФТ) — организовали найм.
- За 5 месяцев собрали финальную команду из 12 человек, которая в течение 2 лет вела разработку DWH (Хранилище данных) в ОТП Банке.
- Организовали переход «ядра команды» в штат Заказчика.
12 чел
участников, команды по работе с данными, собраны за 5 месяцев
2 года
непрерывной работы над Business Critical системой — КХД
0% текучки
высокая вовлеченность и мотивация сотрудников
Работы в проекте
- проектирование и разработка модели данных;
- ER-диаграммы логической и физической моделей;
- алгоритмы формирования объектов;
- описание ETL/ELT-потоков (процессы извлечения, преобразования и загрузки данных);
- развертывание компонентов КХД;
- разработка коннекторов и ETL-процессов;
- разработка трансформаций;
- разработка витрин данных и другие работы.
