Data Engineer

О вакансии

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности

Исследование источников данных: анализ назначения и структуры таблиц и полей, ключей, связей, кардинальности и гранулярности; документирование моделей и схем данных

Оценка потребностей в получении, обработке и хранении данных; выбор и обоснование архитектурных и технологических решений с преимущественным использованием open-source программного обеспечения

Организация получения структурированных и неструктурированных данных из баз данных, API, файлов и иных разрешённых источников; разработка SQL-запросов и механизмов извлечения с учётом прав доступа, ограничений систем-источников и требований информационной безопасности

Проектирование, разработка и сопровождение процессов интеграции и преобразования данных (ETL/ELT), включая очистку, нормализацию, объединение, обновление и автоматизацию обработки

Создание и развитие аналитических моделей, наборов данных, хранилищ и витрин по мере возникновения обоснованной потребности; организация хранения, версионирования и, при необходимости, историзации данных

Обеспечение качества данных (Data Quality): профилирование, проверки полноты, корректности, согласованности и уникальности, предотвращение дублирования, автоматизация проверок и контроль результатов загрузки

Настройка расписания выполнения, журналирования, мониторинга и диагностики процессов обработки данных; участие в обеспечении их надёжности и восстановлении работоспособности во взаимодействии с ответственными за инфраструктуру

Ведение технической документации, словаря и каталога данных, описаний происхождения и преобразования данных (Data Lineage); применение контроля версий и принципов воспроизводимой разработки

Совместная работа с аналитиком данных и заинтересованными подразделениями: согласование требований к данным и витринам, устранение технических проблем, развитие аналитических решений

Требования

Опыт работы от 3 -х лет в инженерии данных и/или аналитической инженерии. Опыт самостоятельного проектирования, разработки и сопровождения процессов интеграции данных и аналитических моделей. Преимущество — участие в создании аналитических решений с нуля при ограниченных инфраструктурных ресурсах Высшее образование, предпочтительно высшее техническое, информационно-технологическое, математическое или иное профильное образование

SQL — продвинутый/экспертный уровень (сложные запросы, JOIN, CTE, оконные функции, анализ планов и оптимизация выполнения). Python — уверенный уровень (обработка данных, API, автоматизация и разработка скриптов)

Условия

Пятидневная рабочая неделя, гибридный формат работы

Чистый, современный, просторный офис со всей необходимой для работы орг. техникой. Находится в пешей доступности (ст. метро Арбатская)

Значимая роль в команде экспертов, в которой коллеги всегда поддерживают друг друга

Развивающие задачи и карьерные вызовы, реальные возможности для роста

Развитая корпоративная культура: постоянные корпроративные обучения, мероприятия, онбординг