Денис Ч. — Data Engineer

Создание, разработка и ведение проекта по сбору и анализу данных в масштабах Москвы с 0 Внедрение потоковых данных на базе kafka и spark streaming Создание Datalake на базе hdfs+spark Создание и сопровождение data pipeline на базе AIRFLOW Создание DWH на базе Clickhouse/Postgres Отладка быстродействия DWH на уровне БД (Движки таблиц, партиции, тригеры и тд) Создание автоматического маониторинга качества данных (фронт/отбивка уведомлений) Разработка сложных витрин данных Clickhouse/Postgres Разработка структуры API Внедрение методов машинного обучения (sklearn и похожие) Общение с поставщиками данных (улаживание технических и концептуальных моментов...больше 30+ поставщиков данных) Обучение стажёров Используемые технологии: - Airflow - Python (функциональщина/ООП/Асинхронность) - SQL (сложные и очень сложные запросы :-) - Spark - Hadoop - Hive - Clickhouse - Postgres - Linux - Docker - Grafana - Gitlab - kubernetes - kafka

- Поддержание работоспособности инфраструктуры ETL - Работа с большими данными MySQL, PostgreSQL, Oracle - Автоматизация рутинных задач на Python - Настройка CI/CD Gitlab - Обеспечения качества и консистентности данных - Поддержка DWH

- Сбор, анализ, эскалация и маршрутизация инцидентов - Обеспечение коммуникации с пользователями - Обработка обращений в HelpDesk (Jira, Zendesk) - Устранение ошибок в работе web сайта - Интеграции - Тестирование API/SWAGGER - Python - Jira, DevTools

Разрабатывал эскизные, технические и рабочие проекты, используя средства автоматизации проектирования, передовой опыт конкурентоспособных изделий, обеспечивая при этом соответствие разрабатываемых конструкций техническим заданиям, стандартам, нормам охраны труда и техники безопасности. Составлял кинематические схемы, общие компоновки и теоретические увязки отдельных элементов конструкций. Проводил технические расчеты по проектам, технико-экономический и функционально- стоимостной анализ эффективности проектируемых конструкций. Участвовал в монтаже, наладке, испытаниях и сдаче в эксплуатацию опытных образцов изделий, узлов, систем и деталей новых и модернизированных конструкций.