Senior Data Engineer

Основные обязанности:

• Проектирование, разработка и оптимизация масштабируемых ETL-процессов и конвейеров данных
• Разработка и поддержка BI-решений, витрин данных и аналитических наборов данных
• Проектирование и оптимизация сложных SQL-скриптов, хранимых процедур и рабочих процессов обработки данных
• Управление рисками и зависимостями путем выявления технических угроз и угроз доставки, таких как качество данных, соответствие устаревшим системам и пропускная способность, информирование заинтересованных сторон и заблаговременное предложение прагматичных мер по их устранению
• Согласование с заинтересованными сторонами путем определения и согласования подходов и компромиссов, представления вариантов и рекомендаций, а также проведения демонстраций для проверки прогресса и демонстрации ценности
• Обеспечение технического лидерства посредством практической работы путем рецензирования и обеспечения соблюдения архитектуры, проектов, кода и SQL/блокнотов, а также путем реализации критически важных компонентов для обеспечения стабильного качества.

Мы будем рады услышать от вас, если у вас есть:

• Минимум 5 лет опыта в области инженерии данных, из которых не менее 2–3 лет — с фокусом на экосистему облака Azure
• Эксперт в SQL с подтвержденной способностью писать и оптимизировать сложные аналитические запросы, хранимые процедуры и функции
• Глубокое знание PySpark и Python для обработки больших объемов данных и построения ETL/ELT-конвейеров
• Понимание принципов организации данных в Data Lake (слои Raw, Silver, Gold)
• Опыт администрирования и разработки в управляемых экземплярах (managed instance)
• Знание методологий моделирования данных (Kimball/Inmon), понимание Slowly Changing Dimensions (SCD) и управления историей
• Глубокое понимание архитектуры корпоративного хранилища данных (Data Warehouse), включая проектирование таблиц измерений и фактов, а также создание агрегированных уровней данных
• Опыт работы с финансовыми/страховыми данными, понимание процессов закрытия месяца, сверки данных и логики финансовых расчетов
• Опыт проведения ревью кода, проектирования архитектуры конвейеров и контроля технического качества результатов работы команды
• Опыт работы в Scrum-командах, с возможностью декомпозиции высокоуровневых бизнес-целей на конкретные технические задачи (User Stories/Tasks) и управления планом доставки
• Уровень английского языка B2 или выше.

Желательно:

• Опыт оркестрации сложных цепочек задач в Azure Data Factory
• Знание страховой области, включая премии, комиссии, страховые налоги и актуарные расчеты
• Опыт работы с BI-инструментами, такими как Power BI, и понимание того, как конечные пользователи потребляют данные из DWH
• Практический опыт переноса (lift-and-shift) логики из устаревших баз данных в облачное хранилище
• Предпочтительна сертификация Azure, например Microsoft Certified: Azure Data Engineer Associate (DP-203).