Senior Data Engineer

Описание роли:

Senior Data Engineer ответственен за разработку и поддержку пайплайнов обработки данных и машинного обучения на Python и Spark. Вы будете работать с системами хранения, такими как Clickhouse и PostgreSQL, поддерживать существующие и писать новые Airflow Pipelines, заниматься переработкой существующих пайплайнов ‘from scratch’ и оптимизацией сложных SQL-запросов. Также входят задачи по решению ad-hoc проблем от аналитиков и дата-сайентистов, ревью кода, участие в реализации CI/CD и решение инфраструктурных проблем.

Требования:

Экспертное знание Python и SQL, опыт работы с Apache Spark и Airflow, уверенная работа с командной строкой Linux/MacOS, опыт с различными cloud-сервисами (Yandex, Google, AWS), умение вести проекты в Git и написание тестов с использованием pytest. Также необходимо знание методологии TDD и опыт с CI/CD.

Уникальность вакансии:

Возможность работать в одной из самых сильных ML-команд в России, совместная работа с опытными разработчиками, аналитиками данных и менеджерами. Ожидается рост компании на перспективном AI рынке. Предоставляется поддержка профессионального и карьерного роста, включая оплату профильного обучения, конференций и книг. Также предлагается гибкий график работы и различные форматы работы (удаленка, гибрид, офис).

О компании:

Rubbles — аккредитованная ИТ-компания с акцентом на развитие технологий в AI индустрии. Компания поддерживает инициативы сотрудников в профессиональном росте и предоставляет льготные условия трудоустройства. Работая в компании, вы станете частью команды, работающей над значимыми проектами, играющими важную роль на рынке.