Юрий К. — Data Engineer

Data Engineer | Инженер данных Ключевой стек: Python, Airflow, PySpark, ClickHouse, PostgreSQL, SQL, Docker, S3, Linux, Git Компания: JetHome (Производство и автоматизация) Цель работы: Построение и поддержка контура данных для аналитики производственных и логистических процессов. Основные задачи и вклад: ◆ Разработал и поддерживал DAG-пайплайны на Airflow для автоматической загрузки и трансформации данных из PostgreSQL и файлов с производственных линий, что сократило время обработки на 30%. ◆ Использовал PySpark для обработки, очистки и денормализации данных, обеспечивая готовность витрин к ежедневному анализу и ускоряя формирование отчётов в 2 раза. ◆ Добавил оповещения в Telegram о сбоях для критических ETL-задач, что снизило время реакции на инциденты с нескольких часов до 10 минут. ◆ Автоматизировал рутинные SQL-запросы и выгрузки, которые ранее запускались аналитиками вручную, сэкономив ~15 человеко-часов в неделю.