Data Quality Engineer

О вакансии

Основные задачи

Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL)

Проектировать и поддерживать правила Data Quality для новых источников данных

Разрабатывать и сопровождать Data Contracts

Анализировать схемы данных, RFC и бизнес-правила

Интегрировать проверки качества в существующие ETL -пайплайны (Airflow)

Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store)

Анализировать инциденты качества данных и искать первопричины

Развивать библиотеку повторно используемых DQ-проверок

Взаимодействовать с Data Engineers, аналитиками и заказчиками данных

Наши ожидания

Хорошее знание SQL (сложные запросы, оптимизация)

Опыт работы с Python (Pandas, PySpark) для анализа данных и автоматизации

Понимание устройства DWH, ETL/ELT, Data Lake, Data Lakehouse (слои bronze/silver/gold)

Опыт тестирования данных (ETL testing, DWH testing, Data Quality)

Опыт работы с Git. Базовое понимание CI/CD

Опыт работы с инструментами Big Data (S3, Spark, Airflow)

Будет плюсом

Опыт работы с Great Expectations, dbt tests, Soda или кастомным решением Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas) Опыт работы с Data Contracts

Что мы предлагаем

Здоровье и спорт

ДМС + стоматология Корпоративные скидки в фитнес-клуб World Class Корпоративный тариф на абонементы FITMOST Программа корпоративных скидок Best Benefits – на спорт и не только Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие

Курсы английского языка, в том числе с носителем языка Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также

Работа в гибридном формате Комфортные офисы с кофе-поинтами и разнообразными снеками каждый день Насыщенные и яркие корпоративные праздники Классный мерч

Навыки из вакансии