Data Engineer для Apache Spark и Airflow

Что за роль

Авиасейлс ищет Data Engineer для разработки и поддержки процессов обработки данных. Важная часть работы — построение streaming- и batch-пайплайнов, способных справляться с высокой нагрузкой, и создание проверок качества данных. В основном стеке используются Python и SQL; знание Apache Spark, Apache Airflow и Trino будет преимуществом.

Что предстоит делать

• Разрабатывать и поддерживать потоковые и пакетные пайплайны обработки данных.
• Создавать процессы тестирования данных, чтобы проверять корректность и стабильность их обработки.
• Использовать Python и SQL для реализации логики обработки и работы с данными.
• Работать с инструментами стека Apache Spark, Apache Airflow и Trino, если есть соответствующий опыт.
• Взаимодействовать с разными командами, согласовывать рабочие процессы и самостоятельно доводить задачи до результата.
• Применять AI-агентов, включая Claude Code и Codex, в инженерной работе.

Что потребуется

• Опыт работы инженером данных от двух лет.
• Отличное знание Python и SQL.
• Опыт разработки процессов тестирования данных.
• Практический опыт построения высоконагруженных streaming- и batch-пайплайнов.
• Знание Apache Spark, Apache Airflow и Trino будет плюсом; опыт с Kubernetes, Terraform и AWS приветствуется.
• Самостоятельность, ответственность, коммуникабельность и готовность развивать процессы вокруг своей работы.
• Навыки работы с AI-агентами, например Claude Code или Codex.

Что важно знать

Предусмотрена полная занятость; в описании указаны удалённая работа и офисный или гибридный вариант на Пхукете. Уровень оплаты обсуждается по итогам собеседования, конкретная сумма не указана. В вакансии сочетаются инженерные задачи с высоконагруженными конвейерами данных и внимание к проверке качества данных.