Senior & Mid-Level Data Engineer

Описание роли

На позиции Senior & Mid-Level Data Engineer вы будете отвечать за создание, оптимизацию и поддержку масштабируемых data pipelines. Ваша задача — объединить данные из различных источников, обеспечить их качество и доступность для аналитических и ML-команд. Вы будете тесно взаимодействовать с бизнес- и продуктовыми подразделениями, переводя их задачи в технические решения на базе AWS, Databricks и PySpark. Данная роль подходит специалистам с опытом 3–5 лет, стремящимся прокачать навыки в облачных технологиях и стать частью ведущей команды по работе с большими данными.

Обязанности

• Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием PySpark, Python и SQL;
• Развёртывание и настройка кластеров Databricks (DBX) в AWS для обработки больших объёмов данных;
• Автоматизация тестирования и QA data pipelines на всех этапах жизненного цикла;
• Оптимизация производительности и отладки сложных вычислительных задач;
• Внедрение лучших практик CI/CD в разработку и доставку решений для обработки данных;
• Мониторинг, аудит и обеспечение надёжности архитектуры data lake при помощи MLflow и специализированных фреймворков Governance;

Требования

• 3–5+ лет опыта в Data Engineering;
• Глубокие знания PySpark, Python и SQL;
• Практический опыт работы с AWS (EMR, S3, Glue);
• Опыт использования Databricks обязателен для Senior и желателен для Mid;
• Знание принципов автоматизированного тестирования и QA для ETL/ELT;
• Умение выявлять узкие места, проводить отладку и оптимизацию pipeline;
• Английский на уровне общения с техническими командами;

Nice to have

• Проектирование big data/ data lake архитектур;
• Опыт настройки DevOps-процессов и CI/CD (Jenkins, GitLab CI);
• Знакомство с MLflow, LLM-based решениями и инструментами мониторинга данных;
• Навыки работы с фреймворками data governance;

Особенности вакансии

Talents Today предлагает полностью удалённый формат работы с гибким графиком, при котором вы сами контролируете своё время и распределяете нагрузку. Участие в международных проектах для крупных клиентов, чёткая техническая документация и дружная команда профессионалов обеспечивают быстрый обмен опытом. Компания поддерживает инициативы по внедрению новых технологий, а также инвестирует в ваше развитие через внешние и внутренние тренинги.

О компании

Talents Today — IT-аутстаффинговая компания, специализирующаяся на предоставлении опытных специалистов для проектов в области больших данных, машинного обучения и облачных решений. Среди клиентов — крупные банки, ритейлеры и стартапы, ориентированные на аналитику и AI. Компания ценит качество кода, прозрачность процессов и рост сотрудников, регулярно проводит internal hackathons и участвует в конференциях Big Data.