Инженер по тестированию в команду Yandex Robotics

О вакансии

Мы учим роботов действовать в мире, который построен для человека: ходить, открывать двери, проходить турникет, брать и переносить предметы. У нас много гипотез, экспериментов, проверок и нет единственно верной инструкции. Тестирование в проекте создаётся с нуля. И так как робот — это совокупность железа, софта и ML, отказ редко бывает там, где его ищешь в первую очередь. Поэтому нам нужен любознательный инженер, который будет строить тестирование вместе с нами. Проектировать тесты Вам предстоит придумывать, как проверять поведение недетерминированной системы. Нужно будет формулировать критерии приёмки через допуски и метрики, а не через равенство. Прогонять сценарии на реальном роботе Вы будете работать с сериями повторов, фиксацией условий, поиском границы, за которой сценарий перестаёт выполняться. Это работа руками и глазами, рядом с машиной, которая двигается сама. Работать с ошибками Нужно будет делать видеозаписи, восстанавливать последовательность событий, отделять отказ железа от ошибки модели и неудачного сценария, передавать инженерам воспроизводимое описание. Работать в команде Предстоит обсуждать находки с разработкой и ML, вместе придумывать новые подходы и инструменты, спорить о критериях приёмки, аргументировать, почему версию нельзя выпускать.

• Имеете сильные навыки тест-дизайна и хорошее воображение
• Не останавливаетесь на «не работает»: выясняете почему, привлекаете нужных людей
• Умеете учиться и организовывать работу без внешнего контроля
• Не боитесь сказать «Релиз не готов» и объяснить, на чём основан вывод
• Тестировали системы с недетерминированным поведением
• Работали с LLM
• Знаете, что такое симуляторы, или работали в них

Обязанности

Проектировать тесты Вам предстоит придумывать, как проверять поведение недетерминированной системы. Нужно будет формулировать критерии приёмки через допуски и метрики, а не через равенство. Прогонять сценарии на реальном роботе Вы будете работать с сериями повторов, фиксацией условий, поиском границы, за которой сценарий перестаёт выполняться. Это работа руками и глазами, рядом с машиной, которая двигается сама. Работать с ошибками Нужно будет делать видеозаписи, восстанавливать последовательность событий, отделять отказ железа от ошибки модели и неудачного сценария, передавать инженерам воспроизводимое описание. Работать в команде Предстоит обсуждать находки с разработкой и ML, вместе придумывать новые подходы и инструменты, спорить о критериях приёмки, аргументировать, почему версию нельзя выпускать.

Требования

• Имеете сильные навыки тест-дизайна и хорошее воображение
• Не останавливаетесь на «не работает»: выясняете почему, привлекаете нужных людей
• Умеете учиться и организовывать работу без внешнего контроля
• Не боитесь сказать «Релиз не готов» и объяснить, на чём основан вывод
• Тестировали системы с недетерминированным поведением
• Работали с LLM
• Знаете, что такое симуляторы, или работали в них