Data Engineer в Локализацию

О вакансии

Навыки: SQL, Apache Airflow. Специализации: Инженер по данным.

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем. Закрывает полный цикл: от забора данных до развития хранилищ. Ищем инженера, который будет строить платформу вместе с нами - не просто перекладывать данные между базами!

Наш стек: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow,Apache Kafka, Spark, ClickHouse.

Вам предстоит

- Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);

- Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);

- Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);

- Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;

- Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных;

- Пробовать использовать любой доступный open source инструмент, если ты видишь в нем ценность для команды или потребителей.

Мы ожидаем от вас

- Уверенный Python в контексте DE (2+ года);

- Глубокое знание SQL (оконные функции, оптимизация запросов, explain-планы);

- Опыт работы с оркестраторами данных (у нас Airflow);

- Опыт с Hadoop (Spark / YARN / HDFS);

- Опыт с MPP-системами (Greenplum, ClickHouse, Redshift и аналоги);

- Опыт взаимодействия: Trino/Presto, DBT, Feature Store, DQ-фреймворками (Great Expectations, Soda или собственные решения).

Что мы предлагаем

- Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;

- Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;

- Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;

- Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;

- Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;

- Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.