Data Engineer

О вакансии

Обязанности

Участие в миграции данных и процессов с MS SQL на Postgres Pro

Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse

Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh) - Оптимизация запросов и структур данных, диагностика проблем производительности

Администрирование БД

Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки

Описание источников и моделей данных в каталоге данных на OpenMetadata

Передача экспертизы команде: стандарты, документация, ревью решений

Требования

Высшее образование (ИТ, точные науки, инженерное) Опыт работы от 3-х лет по специальности Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных Понимание физической и логической репликации и их влияния на нагрузку

Практический опыт построения CDC (Debezium, логическая репликация или аналоги)

Умение анализировать планы выполнения и оптимизировать запросы - Опыт проектирования индексов и партиционирования

Уверенное владение Python и опыт работы с Apache Airflow Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse

Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги)

Опыт работы с OpenMetadata или другими каталогами данных

Опыт работы с трансформационными пакетами dbt или SQLMesh

Условия

Работа в одной из крупнейших управляющих компаний России Полное соблюдение требований трудового законодательства Бонусы по итогом года Социальный пакет (ДМС + другие виды страхования для работников, дни самозаботы) Корпоративные мероприятия