Инженер данных

О вакансии

разработка хранилища данных на базе ClickHouse; построение ETL-процессов; написание / оптимизация / профилирование SQL/NoSQL запросов; расчет сложных аналитических показателей в витринах данных; настройка ClickHouse (шардинг, репликация) в т.ч. взаимодействия с Kafka (попадание сырых данных, решение возможных проблем с очередностью сообщений, валидностью данных); участие в тестировании потоков с целью обеспечения их стабильной работы; написание backend сервисов на Java; участие в разработке архитектуры, процессов и инструментов для работы с данными; обеспечение контроля качества данных, мониторинг, анализ и устранение проблем с качеством данных.

Требования: глубокие знания SQL; умение работать с планами запросов; опыт работы с ClickHouse; опыт работы с брокерами сообщений (Kafka); опыт работы с Kubernetes проектами; опыт работы с Java; практический опыт участия в проектах по созданию DWH, Data lake; практический опыт построения и развития высоконагруженных систем.

Навыки из вакансии