Анна С. — DWH Developer

Разработчик , отдел сопровождения внутри банковских систем Обязанности: Разработал ETL-пайплайны для сбора и обработки данных для высоконагруженных процессов взыскания задолженности и телекоммуникаций. Выполняю задачи полного цикла: от интеграции с внешними API и разработки сервисного слоя до построения эффективных пайплайнов обработки больших объёмов данных и оптимизации хранилищ. Основные достижения и задачи: Проектировал и поддерживал ETL-процессы для банковских справочников: выгрузка данных из внешних API в формате XML, трансформация и очистка на уровне базы данных (Oracle), загрузка в пользовательские витрины. Обеспечивал целостность и актуальность данных для сотен внутренних пользователей. Автоматизировал рутинные задачи на Jython, сократив время обновления справочников на 30%. Разработал и внедрил ETL-процессы на Oracle Data Integrator (ODI): Создал и внедрил более 10+ ETL-пайплайнов на Jython (Java+Python) для сбора, обработки и загрузки данных из внешних источников в Oracle. Объем обрабатываемых данных — свыше 20 млн записей в сутки. Разработал интеграцию с федеральными системами через веб-сервисы: Разработал и внедрил ETL-пайплайны в Oracle Data Integrator (ODI) для получения данных и парсинга SOAP/XML-данных из Единого федерального реестра сведений о банкротстве. Разработал и внедрил пайплайн для загрузки данных о компаниях с признаками нелегальной деятельности из веб-сервиса ЦБ РФ. Работа с данными в Oracle: Проектировал , оптимизировал и внедрил сложные бизнес процессы, хранимые процедуры, материализованные представления, представления (View), задания (jobs), триггеры. Провел рефакторинг legacy-кода PL/SQL — ускорение выполнения запросов до 30–40%. Формирование XML для ЕФРСДЮЛ: Разработал и внедрил ETL-процессы по генерации динамических XML-файлов для публикации данных о должниках и договорах (включая цессию, секьюритизацию, переход прав собственности). Разработал автоматический процесс миграции и выгрузки данных: Построил полный цикл: запрос данных из Oracle → формирование CSV-файлов по реестру договоров → сохранение на сетевые ресурсы → передача в сторонние компании. Автоматизация на Python: Разработал консольное приложение для выгрузки аудиозаписей с веб-ресурсов с логированием процесса. Мониторинг и сопровождение: Разработал и внедрил процесс мониторинга состояния БД Oracle для Zabbix. Поддерживал и дорабатывал процессы в ODI и Oracle APEX. Провел рефакторинг процесса загрузки данных из веб-сервиса СПАРК – Интерфакс. Интеграция и обработка данных: Разработал и внедрил ETL-пайплайны по принципу отложенной загрузки: прием данных в staging-таблицы, последующая трансформация и загрузка в витрины по расписанию в ночное окно. Это исключило влияние ETL-процессов на OLTP-системы в рабочие часы. Разработал и внедрил процесс интеграции с внешними SOAP-сервисами (ЕФРСБ, ЦБ РФ, СПАРК) использовал паттерн "таблица-очередь" с фиксацией статусов обработки (NEW → IN_PROGRESS → DONE → ERROR). Обеспечил автоматический повтор (retry) для упавших записей при следующем запуске джоба. Разработал и внедрил процесс журналирования изменений на уровне Oracle: триггеры отслеживают обновления справочников и записывают дельты в отдельные таблицы для последующей выгрузки в партнерские системы (CSV/XML).

Разработка и развитие ETL-процессов и инфраструктуры данных финансового мониторинга и контроля. - Разрабатывал и сопровождал ETL-бизнес-процессы в Oracle Data Integrator (ODI) и Oracle FDMEE. - Оптимизировал хранимые процедуры в MS SQL Server для получения данных - Писал скрипты автоматизации на Python и VBA. - Обеспечил бесперебойный сбор данных для финансовой отчетности в условиях ужесточения регуляторных требований.

Администрировал и оптимизировал БД MS SQL Server (2012–2019), устранял сбои репликаций и заданий. Разрабатывал отчетность на SSRS, FastReport, Power BI и Excel/VBA. Интегрировал системы через REST API и ODBC. Обеспечивал доступность и производительность систем для производственных подразделений компании.

Внедрял и сопровождал информационно-управляющие системы, работал с историческими данными в PostgreSQL. Проектировал схемы автоматизации и интеграции систем управления. Участвовал в полном цикле внедрения ИУС: от сбора требований до промышленной эксплуатации.