Machine Learning Evaluation Engineer

Описание роли

В роли Machine Learning Evaluation Engineer вы будете проектировать, разрабатывать и поддерживать комплексные конвейеры оценки (evaluation pipelines) для agentic mobile app generator — инновационного AI-инструмента, генерирующего мобильные приложения. Вы будете тесно взаимодействовать с инженерами машинного обучения, экспертами мобильной разработки и продуктовыми дизайнерами для установления критериев качества, безопасности и производительности сгенерированного кода.
Ваши ключевые задачи:
* Создание и автоматизация процессов оценки полноты и корректности функционала сгенерированных приложений;
* Разработка и выполнение тестовых планов, кейсов и скриптов автоматизированного тестирования на Python и других языках;
* Анализ показателей ML experiment tracking платформ для выявления слабых мест в генерации и доведение обратной связи до команды разработчиков;
* Внедрение методик prompt engineering для оптимизации работы AI-агентов и повышения качества кодогенерации;
* Участие в agile-дискуссиях, дизайн-ревью и мозговых штурмах по улучшению AI-инструментов.

Современная мобильная индустрия активно переходит к AI-генерации приложений, что позволяет компаниям сокращать время на разработку новых функций и повышать гибкость процессов. В JetBrains вы станете ключевым специалистом, обеспечивая соответствие продуктов строгим требованиям безопасности и производительности.

Особенности вакансии

* Офис в Кипре с современной инфраструктурой, уютными зонами для коллаборации и кухней для общения с коллегами;
* Конкурентная зарплата от 7 200 до 12 000 EUR, гибкий соцпакет и программа релокации для специалистов с опытом;
* Работа с передовыми ML experiment tracking платформами и внутренними аналитическими инструментами;
* Кросс-функциональная команда, включающая Python-, Kotlin-, Java- и Swift-разработчиков;
* Внутренние обучающие курсы по AI, участие в профильных конференциях, доступ к лицензиям на профессиональное ПО;
* Возможность карьерного роста внутри R&D-направления JetBrains.

О компании JetBrains

JetBrains — международная IT-компания, известная своими передовыми IDE и инструментами разработки (IntelliJ IDEA, PyCharm, TeamCity). Наша миссия — делать разработку более продуктивной и увлекательной. С 2000 года продукты JetBrains помогают тысячам компаний по всему миру создавать качественные решения. Для сотрудников доступна поддержка профессионального роста, участие в глобальных проектах и дружная атмосфера open source-сообщества.

Партнёрское размещение. ERID 2W5zFHoQEpH Партнёрское размещение. ERID 2W5zFJWuthw