Senior Data Engineer и аналитик данных для AI-платформы

Что за роль

Это senior-позиция на стыке data engineering и аналитики данных: специалист будет собирать и обрабатывать данные о работе CodeGen-платформы и использовании AI-инструментов. В зоне ответственности — аналитические хранилища и пайплайны, метрики эффективности сервисов, а также подготовка данных для RAG-решений и AI-агентов.

Что предстоит делать

• Собирать данные из внутренних сервисов, LLM Gateway, GitLab, Jira, логов AI-агентов и других источников.
• Проектировать и наполнять базы данных и аналитические витрины для оценки использования CodeGen-платформы.
• Исследовать активность пользователей, сценарии применения AI-инструментов и профили использования сервисов.
• Анализировать утилизацию ресурсов, качество, производительность и эффективность сервисов.
• Формулировать и проверять гипотезы о влиянии LLM на разработку, тестирование, аналитику и DevOps.
• Обрабатывать структурированные и неструктурированные данные: логи, код, merge request’ы, тексты и результаты работы LLM.
• Разрабатывать ETL/ELT-пайплайны и поддерживать регулярное обновление данных из S3, PostgreSQL, Greenplum, Oracle и других источников.
• Готовить и индексировать данные для RAG, наполнять векторные базы, создавать инструменты поиска для AI-агентов и формировать метрики, дашборды и визуализации в Superset, Streamlit и Python.

Что потребуется

• Отличное владение Python и уверенная работа с pandas, Polars или аналогичными инструментами.
• Уверенный SQL и опыт работы с реляционными СУБД и хранилищами данных.
• Практический опыт разработки ETL/ELT-пайплайнов и использования хотя бы одного инструмента оркестрации.
• Опыт работы со структурированными и неструктурированными данными; способность самостоятельно исследовать данные и проверять гипотезы.
• Регулярное применение AI-инструментов в разработке и аналитике; уверенное владение Claude Code, Codex или аналогами.
• Будут плюсом Apache Airflow, решения на базе LLM, GenAI, RAG или AI-агентов, векторные базы и поисковые системы, Git/GitLab и базовые знания Data Science и статистического анализа.

Что важно знать

Вакансия сочетает построение data-инфраструктуры с исследованием того, как AI меняет процессы разработки. Помимо привычных таблиц и SQL, предстоит работать с логами, кодом и результатами LLM, а также готовить данные для поиска и AI-агентов. Указаны зарплатная вилка, полная занятость и возможность удалённой работы.