Артём С. — Data Engineer

Стек проекта: SQL, Python, Trino, Apache Iceberg, S3, Apache Airflow, ClickHouse, dbt, Git Задачи: - Участвовал в миграции EDW-витрин и ETL-процессов на Trino, Iceberg и S3. - Адаптировал SQL-запросы и логику витрин под Trino/Iceberg. - Работал с Apache Airflow: поддержка и доработка пайплайнов в рамках миграции. - Работал с dbt-моделями: адаптация логики, миграция моделей. - Выполнял задачи в ClickHouse в рамках миграции. - Использовал Python для автоматизации и вспомогательных задач. - Вел документацию и работал с Git.

Стек: SQL, Python, Greenplum, ClickHouse, Apache Airflow, Apache Kafka, Apache NiFi, MinIO, PySpark, Streamlit, Git, GitLab CI/CD, Docker, Linux, CSV Задачи: - Участвовал в проектировании объектов хранилища данных и ETL-процессов. - Разрабатывал процессы загрузки данных между слоями DWH с использованием Apache Airflow и Greenplum. - Реализовывал инкрементальные загрузки, SCD Type 2, партиционирование и материализованные представления. - Разрабатывал и оптимизировал SQL-запросы, функции и объекты Greenplum. - Автоматизировал ETL-процессы и валидацию данных с использованием Python. - Работал с Apache Kafka, ClickHouse, Apache NiFi и MinIO в рамках задач интеграции данных. - Выполнял разовые задачи с использованием PySpark, Streamlit и GitLab CI/CD.

Стек: SQL, Python, Greenplum, Apache Airflow, dbt, Hadoop, Hive, Apache Kafka, Kafka Connect, S3, PXF, External Tables, Avro, JSON, Git, Docker, Linux Задачи: - Разрабатывал и сопровождал ETL-процессы миграции данных в Greenplum. - Реализовывал инкрементальные загрузки и SCD Type 2 с использованием dbt и Greenplum. - Разрабатывал и сопровождал DAG Apache Airflow для оркестрации процессов обработки данных. - Реализовывал процессы загрузки данных между Hadoop и Greenplum с использованием PXF и External Tables. - Разрабатывал и оптимизировал SQL-запросы, функции и объекты Greenplum. - Работал с Apache Kafka, Kafka Connect, Mirror Topic, форматами Avro и JSON при построении процессов загрузки данных. - Использовал Hadoop/Hive и S3 в качестве Data Lake. - Разрабатывал Python-скрипты для автоматизации ETL-процессов, сравнения и валидации данных между SAS и Greenplum.

- Мониторинг работоспособности высоконагруженных систем, отслеживание статусов разнообразных сервисов компьютерной сети в Zabbix - ИТ-мониторинг данных в Grafana - Создание и поддержание сценариев - Реагирование на триггеры, анализ инцидентов - Развертка и обновление котнейнеров Docker - Постановка задач в Jira - Взаимодействие с командой разработки: разработчики, DevOps-инженеры