Даниил Х. — Data Engineer

ГК «Мать и дитя» — ведущая федеральная сеть медицинских центров и высокотехнологичных госпиталей. В качестве Data Engineer я проектировал и собирал ELT-конвейеры в рамках проекта ВРТ, разработав сквозные витрины данных как для бизнес-метрик компании, так и для глубокой медицинской аналитики. ЗАДАЧИ: - Проектирование DWH: Разработка и поддержка слоистой архитектуры хранилища (RAW, ODS, DDS) на базе Greenplum и ClickHouse. - Автоматизация ETL/ELT: Разработка отказоустойчивых конвейеров в Apache Airflow. Настройка межконвейерных зависимостей, пулов задач и политик перезапуска. - Обработка Big Data: Написание PySpark-задач для парсинга, очистки и агрегации сырых данных из S3. - Data Quality: Внедрение автоматизированного тестирования данных через dbt tests для контроля уникальности, отсутствия пропусков и соблюдения бизнес-логики. - Инфраструктура и CI/CD: Контейнеризация пайплайнов (Docker), работа по GitFlow, участие в Code Review. Инструменты: Airflow, Pyspark, S3, Greenplum, DBT, Hadoop, Clickhouse ДОСТИЖЕНИЯ: - Ускорение DWH в 2.5 раза: Выполнил рефакторинг исторических dbt-моделей, переведя их с ресурсоемкого Full Refresh на инкрементальную сборку, что существенно снизило утреннюю нагрузку на СУБД. - Внедрение Data Quality (DQ): Спроектировал DLQ-систему в dbt для изоляции карантинных таблиц. Сократил долю брака в сырых данных с 14% до <5%, практически исключив инциденты на стороне BI-аналитиков. - Оптимизация Spark-пайплайнов: Разработал на PySpark пайплайн очистки и валидации данных, который ежедневно обрабатывает более 10 млн строк и отсеивает до 5% дубликатов и аномалий перед загрузкой в витрины. - Оптимизация ClickHouse: Заменил тяжелые мутации на паттерн свапа партиций. Полностью ликвидировал появление дубликатов и скачки метрик в аналитических отчетах. - Архитектура оркестрации: С нуля разработал 18 отказоустойчивых пайплайнов и провел масштабный рефакторинг легаси-кода. Разбил монолитные DAG на изолированные процессы, что сократило время на поддержку конвейеров.