Александр Б. — Data Engineer

Транснациональная немецкая химическая компания Linde. Крупнейший в мире производитель медицинских, технических и пищевых газов. Обязанности и проекты: Разработка слоя сырых данных ClickHouse: - сбор и анализ бизнес-требований к источникам, - проектирование архитектуры целевых таблиц, - разработка и оптимизация materialized view обработки данных из Apache Kafka и queue-таблиц для консьюмеров, - администрирование, разбор инцидентов и исправление ошибок Разработка автоматизированных ETL конвейеров: - исследование источников данных, - проектирование и автоматизация потоков данных (извлечение, очистка, фильтрация, агрегирование, обогащение и загрузка в слой витрин) в Apache Airflow, - администрирование, разбор инцидентов и исправление ошибок Разработка слоя витрин ClickHouse: - сбор и анализ бизнес-требований к витринам, - проектирование архитектуры модели данных, - разработка и оптимизация витрин данных, - администрирование, разбор инцидентов и исправление ошибок Разработка визуализированной BI аналитики Apache Superset: - сбор и анализ бизнес-требований к визуализации данных, - проектирование и разработка аналитических дашбордов с кастомизацией визуальной части CSS, - проектирование и разработка виртуальных датасетов c параметрическими SQL запросами на основе Jinja template к витринам - администрирование, разбор инцидентов и исправление ошибок Разработка пайплайнов обработки и анализа данных в Jupyter Notebook на Python (pandas, numpy, psycopg2, sqlalchemy) Разработка Warehouse Management System на основе трекинга объектов по штрихкоду в чат-боте Телеграм (логика workflow и архитектура модели данных) Внедрение системы автоматизации транспортной логистики Яндекс Маршрутизация и API интеграция с ERP (полный цикл от бизнес-кейса до коммерциализации) Внедрение Warehouse Management System американского разработчика на основе трекинга объектов по штрихкоду (полный цикл от бизнес-кейса до запуска системы в эксплуатацию на всех филиалах)