Никита С. — Data Engineer

Проект HDB (Historical Database) — система сбора, валидации и хранения исторических данных от внутренних департаментов банка (включая СОК) для регуляторной отчётности в ЦБ РФ. Архитектура построена по методологии Data Vault 2.0 с витринами на основе SCD2. Объёмы данных — до 10 млн строк на витрину, ежедневная инкрементальная загрузка до 1 млн записей. Источники: Oracle, MSSQL, PostgreSQL. Задачи: — Ведение проекта как главный дата-инженер: от анализа требований (BRD/FSD) до релиза в production; — Разработка и поддержка ETL-пайплайнов в Informatica PowerCenter; — Создание и оптимизация витрин данных, партиционирование, настройка валидаций (NULL, дубли, индексы); — Полный цикл разработки через GitLab CI/CD (dev → test → prod); — Автоматизация рутинных проверок и документирования. Результаты: — Внедрил более 30 регуляторных витрин требуемых данных для ЦБ РФ; — Разработал инструмент автоматической аналитики структуры и содержимого витрин, сократив среднее время на подготовку к новой задаче на 2 рабочих дня (около 40% эффективности при прежнем бюджете). Технологии: - СУБД: Oracle Database, PostgreSQL, Microsoft SQL Server; - Языки и скрипты: SQL, PL/SQL(+автоматизация задач), Bash; - ETL и интеграция: Informatica PowerCenter (IPC), SQL-based ETL; - Архитектура и моделирование: Data Vault 2.0, Slowly Changing Dimensions Type 2 (SCD2), концептуальное и логическое моделирование данных; - Инфраструктура и DevOps: Git, GitLab CI/CD, Jira, Confluence; - Оптимизация и администрирование: партиционирование, индексирование, EXPLAIN PLAN, REBUILD PARTITION, мониторинг табличных пространств; Дополнительно: подготовка к миграции на S3 / Trino / Greenplum (знакомство на уровне архитектурных решений)

Проект DWH для регуляторной и внутренней отчётности — развитие корпоративного хранилища данных банка на базе Oracle, ориентированного на задачи расчёта витрин по методологии RSBU (российские стандарты бухгалтерского учёта). Проект включал как поддержку существующих ETL-процессов, так и разработку новых расчётных модулей под изменяющиеся требования регулятора и бизнеса. Задачи: — Разработка и поддержка ETL-процедур на PL/SQL в рамках пакетной логики расчёта витрин RSBU; — Проведение полного цикла разработки: от анализа бизнес-логики и согласования с аналитиком до деплоя в production через GitLab CI/CD; — Оптимизация SQL-запросов с использованием индексов, партиций, хинтов, CTE и EXPLAIN PLAN; — Создание ad-hoc скриптов для мониторинга инфраструктуры (например, скрипт для поиска и очистки неиспользуемых backup-таблиц). Результаты: — Сократил время выполнения критически важных SQL-запросов на 30–50% за счёт комплексной оптимизации; — Снизил технический долг и нагрузку на хранилище, автоматизировав выявление устаревших таблиц — это позволило освободить десятки гигабайт дискового пространства и упростить сопровождение. Технологии: - Oracle DWH; - PL/SQL,; - SQL-оптимизация; - Git, GitLab CI/CD

Должностные обязанности: - Поддержка Oracle DWH системы; - Разработка на PL/SQL языке; - Написание ad-hoc запросов для аналитиков с использованием (оконных функций, MERGE, аналитических функций, pivot, listagg); - Написание ETL-скриптов в Oracle Informatica Power Center для переноса и трансформации данных; - Оптимизация SQL скриптов. Технологии: - Oracle SQL; - PL/SQL; - Oracle IPC.

Должностные обязанности: - Администрирование БД Postgres: установка на Windows/Linux машинах, настройка и последующее тестирование работы в рамках поддержки продукта компании - ПО Ассистент, клиент-серверной архитектуры; - Аналитические SQL-запросы; - Составление Bash скриптов для установки и поддержки БД; - Ведение корпоративной документации отдела: (Разработал инструкции и решения для Wiki, сократив время обработки инцидентов на 15% - по KPI отдела); -Troubleshooting. Технологии: - PostgreSQL; - IIS; - nginx; - BASH; - PowerShell