Инженер данных в Путешествия

О вакансии

Навыки: Python, SQL, Apache Hadoop, Apache Spark, DWH, ETL. Квалификация: Senior. Специализации: Инженер по данным.

Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики и сервис, помогающий миллионам людей путешествовать. Наш продукт растёт огромными темпами, и вместе с ним растут наши задачи, например развитие собственного DWH.

Хранилище у нас построено на системах хранения данных YTsaurus (кластер MapReduce собственной разработки) и СlickHouse. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, созданный внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Какие задачи вас ждут

- Разработка, сопровождение и ревью ETL-процессов поставки данных

Вам предстоит создавать конвейеры для извлечения, трансформации и загрузки данных из различных источников, настраивать их расписание и мониторинг. Важно будет регулярно проверять и улучшать существующий код, оперативно исправлять возникающие ошибки, а также тщательно документировать все преобразования и потоки данных — как собственные, так и коллег, обеспечивая соответствие стандартам качества и производительности.

- Проектирование структуры хранения данных в разных слоях хранилища

Вы будете определять оптимальные схемы организации данных для каждого слоя, учитывая требования к скорости запросов и объёму хранения. Задача включает разработку моделей данных, настройку партиционирования, индексации и сжатия для повышения производительности, а также согласование структур с командами аналитики и разработки и адаптацию схем при изменении бизнес-процессов.

- Выявление и оптимизация неэффективных участков в процессах поставки данных

Вам нужно будет анализировать время выполнения ETL-задач, профилировать данные для обнаружения аномалий и избыточности, пересматривать алгоритмы трансформации для снижения нагрузки на систему.

- Погружение в данные прикладных бизнес-областей и становление в них экспертом

Вы будете детально изучать бизнес-процессы и ключевые метрики компании, разбираться в логике расчёта показателей и источниках их формирования.

Мы ждем, что вы

- Проектировали DWH (слои, модели хранения данных, ETL-процессы)

- Разрабатывали ETL-процессы на Apache Airflow или аналогах

- Настраивали поставки данных по API

- Разбираетесь в SQL на уровне эксперта

- Пишете на одном из языков высокого уровня (Python, Go, Java и т. д.)

- Понимаете устройство и архитектуру реляционных баз данных

- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными

Будет плюсом, если вы

- Пользовались хотя бы одной MPP-СУБД (Greenplum, ClickHouse, Vertica, Teradata и т. д.)

- Понимаете принципы работы технологий распределённой обработки данных (Hadoop, MapReduce и MPP)

Что вы получите

- Масштаб: работа с инфраструктурой и данными Яндекса — это задачи, которые редко встречаются даже в крупных международных компаниях

- Влияние: ваши решения будут напрямую влиять на эффективность ключевых бизнес‑процессов

- Экспертность: возможность обмениваться опытом с сильнейшими специалистами отрасли и расти профессионально

- Ресурсы: доступ к передовым технологиям и инструментам для реализации самых смелых идей

- Карьерные перспективы: возможности для профессионального и лидерского роста внутри одной из ведущих IT‑компаний России

Навыки из вакансии