Streaming Data Engineer

О вакансии

Одна из крупнейших компаний, разрабатывающих технологические решения для entertainment-индустрии, находится в поисках сильного Streaming Data Engineer для развития современной data-платформы и высоконагруженных систем обработки данных.

Обязанности

• Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных
• Обеспечивать обработку данных в режиме реального времени (за доли секунды)
• Управлять партиционированием, ключами, гарантиями доставки и эволюцией схем
• Диагностировать и устранять проблемы долгоживущих стриминговых джобов (hot keys, перекос партиций, рост состояния, checkpoints)
• Интегрировать источники данных через CDC (Debezium) и обеспечивать надёжную работу при изменениях схем
• Разрабатывать отказоустойчивые решения с учётом таймаутов, ретраев, backpressure и circuit breakers
• Участвовать в развитии архитектуры data-платформы и предлагать технические решения для повышения надёжности и производительности

Требования

• Опыт работы с Kafka в production: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка
• Практический опыт CDC (Debezium): понимание WAL/binlog, change-событий, снапшота и стриминговой фазы
• Опыт работы со Schema Registry и управлением совместимостью схем (backward/forward)
• Уверенное знание SQL (агрегации, JOIN, поведение NULL)
• Опыт разработки на Java в production: многопоточность, CompletableFuture, конкурентные коллекции
• Понимание принципов распределённых систем и отказоустойчивости

Самостоятельность, ответственность за полный цикл (от проектирования до эксплуатации) и умение чётко объяснять технические решения Будет преимуществом

• Опыт с Apache Flink (event-time, watermarks, checkpoints/savepoints, RocksDB state backend)
• Опыт со Spark Streaming или другими стриминговыми движками
• Знание вероятностных структур данных (HyperLogLog и аналоги)
• Опыт работы с высоконагруженными системами (тысячи событий в секунду)

Условия

• Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру
• Гибкий формат работы: удалённо, гибридно или из офиса
• Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи
• ДМС со стоматологией после испытательного срока
• Компенсация спорта, английского языка и сессий с психологом
• Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды
• Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности
• Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы.