Data Engineer / Инженер данных

О вакансии

Мы строим Data Lake House платформу с современным стеком

S3, Trino, Apache Iceberg, DBT, Airflow, Kafka, Clickhouse.

ОБЯЗАННОСТИ

реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer); реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника; построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям; реализация и поддержка прикладных решений для контроля качества данных в DWH; реализация и поддержка прикладных решений для управления метаданными DWH; участие в R&D для выбора инструментов для построение отдельных частей платформы данных.

ТРЕБОВАНИЯ

Опыт работы от 3х лет;

базовые навыки в области инженерии данных;

системное аналитическое инженерное мышление;

умеренный перфекционизм и внимание к деталям;

понимание концепций проектирования DWH;

продвинутый уровень знания SQL;

высокий уровень владения Python для обработки данных;

опыт работы с оркестраторами и понимание концепции DAG;

опыт разработки и поддержки end-to-end пайплайнов данных;

опыт получения данных из различных типов API;

опыт работы с потоковой обработкой данных;

умение работать с GIT.

УСЛОВИЯ

график работы: на испытательном сроке офис 5/2, далее гибрид; ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях; релокация из любой точки мира.

Навыки из вакансии