Андрей Г. — Data Engineer

Обязанности: - создание беклога задач проекта отчетности - выбор технологического стека - создание и развитие сервисов в k8s (Argo CD) - написание SQL-скриптов витрин (DBT + Starrocks) - настройка визуализации показателей (Grafana) - выбор системы визаулизации отчетности - визуализация отчета (Apache Superset) - разработка плагина визуализации (Apache Superset) Достижения: - разработал архитектуру и внедрил систему отчетности с нуля - реализовал витрину данных на базе DBT и StarRocks, обеспечив высокую производительность запросов. - автоматизировал процесс развертывания сервисов в Kubernetes с помощью Argo CD

Обязанности: - миграция витрин данных (Snowflake -> Greenplum, DBT + оптимизация) - создание чат-бота (Slack + Grafana + k8s + Python) для алертинга - миграция Python-джобов (Teamcity, Argo Workfolws) - создание витрин (ClickHouse) Достижения: - успешно провел миграцию ключевых витрин данных, оптимизировав их производительность - внедрил систему алертинга, что позволило сократить время реагирования на инциденты на 50%. - перевел 20% Python-джобов на новый оркестратор, повысив отказоустойчивость процессов.

Обязанности: - создание интеграций с источниками данных - развертывание облачных ресурсов (Azure Cloud) - внедрение Databricks и миграция DWH с MS SQL - внедрение Git и DBT в отделе - миграция данных с Databricks в Yandex-облако (Airflow, Greenplum) - исправление ошибок в загрузке данных - постановка задач внешним исполнителям, приёмка работ - интеграция с внешними источниками (Python, REST API) - участие в собеседованиях - разработка методологии оценки качества данных - участие в подготовке витрин BI (Power BI, DataLens) - участие во внедрении CI\CD подхода (Kubernetes) Достижения: - мигрировал ~10 ТБ данных из устаревшей системы в современное облачное хранилище, обеспечив масштабируемость и снижение стоимости владения - создал DEV и PROD контуры (Azure Data Factory) - внедрил DBT и Git в отделе, что повысило скорость разработки новых витрин на 30% и улучшило контроль над процессом - произвёл MVP детального слоя DWH (Anchor) - произвёл MVP каталога данных (Azure PurView)

- анализ требований по доработке хранилища Банка (Oracle)

- разработка витрин (подготовка данных для Oracle BI) - техподдержка SAS + TD - миграция ETL функционала SAS -> TD - установка и настройка Talend MDM - пилот по репликации данных (Oracle -> TD, Oracle PL\SQL, Attunity Replicate) - разработка витрин в TD для построения моделей прогнозирования: оттока абонентов, отклика маркетинговых кампаний, звонков в колл-центр - разработка процессов загрузки данных внутренних источников из (Oracle, SQL Server) в Hadoop

- разработка ETL-процессов для банковского DWH (SAS, Oracle) - разработка и поддержка портлетов (SAS BI Dashboard) - разработка и поддержка отчетности (SAS Data Integration Studio) - оптимизация ETL-процессов

- разработка отчетов по запросам пользователей (SAS, Oracle) - поддержка периодических отчетов (SAS, Oracle)

- создание отчетов по заявкам пользователей - устранение ошибок в существующем функционале (Oracle) - участие в проектировании нового функционала - написание кода нового функционала (Oracle Forms)

- разработка принципиальных схем электронных вычислительных устройств (Mentor Graphics) - подбор элементной базы - разработка структуры базы данных (Oracle) - разработка веб-интерфейса к базе данных (ASP.NET, C#, JavaScript)