Machine Learning Evaluation Engineer

Описание роли

На позиции Machine Learning Evaluation Engineer вы станете ключевым специалистом в направлении оценки и контроля качества мобильных приложений, создаваемых с помощью передовых AI-инструментов. Ваша основная задача — разработать и поддерживать комплексные evaluation pipelines, которые позволяют автоматически проверять полноту, безопасность и производительность генерируемого кода. Вы будете тесно взаимодействовать с командами AI-инженеров, мобильных разработчиков и дизайнеров продуктов, чтобы установить прозрачные quality standards и адаптированные test plans под особенности ML-подходов.

Обязательные ответственности включают:
• Проектирование, внедрение и поддержка evaluation pipelines, интегрированных в CI/CD процессы.
• Разработка и запуск тестовых сценариев, включая функциональное, интеграционное и нагрузочное тестирование с учётом особенностей AI-генерации.
• Анализ результатов оценки, выявление паттернов ошибок и узких мест в code generation, подготовка детализированных reportов и рекомендаций для команды разработки.
• Исследование и внедрение современных инструментов для отслеживания ML-экспериментов (experiment tracking) и анализа данных.
• Участие в design reviews и брейнштормах по совершенствованию Agentic Mobile App Generator, предложению новых подходов к prompt engineering.

Уникальность вакансии

JetBrains предлагает возможность влиять на стратегию и качество одного из самых амбициозных AI-проектов в мобильной разработке. Вы получите доступ к закрытым внутренним инструментам компании и сможете обогатить портфолио уникальным кейсом по автоматизированной генерации приложений на базе ML. Гибкость графика, международный коллектив и культура открытого обмена знаниями позволят вам не просто выполнять рутинные задачи, а стать признанным экспертом в области AI Evaluation. По данным отраслевых исследований, 67% ведущих компаний уже внедряют автоматизированные тесты ML — присоединяйтесь к тем, кто формирует будущее!

О компании

JetBrains — мировая IT-компания, известная своими профессиональными IDE и инструментами для разработчиков. Основанная в 2000 году, она продолжает развивать передовые решения в области автоматизации разработки, AI и ML. В портфеле JetBrains — более миллиона активных пользователей, среди которых ведущие технологические корпорации. Компания ценит инновации, открытость и профессиональный рост сотрудников, предоставляя доступ к конференциям, внутренним тренингам и внешним сертификатам.