Senior Data Engineer на Python

Что за роль

Ищут Senior Data Engineer для разработки интеграций и коннекторов на Python. Основной контекст — OpenMetadata: нужно создавать решения на базе Ingestion Framework, автоматизировать работу через SDK и выстраивать оркестрацию в Apache Airflow. В работе также используются SQL, PostgreSQL и REST API.

Что предстоит делать

• Разрабатывать интеграции на Python для проекта и создавать кастомные коннекторы на базе OpenMetadata Ingestion Framework.
• Писать скрипты для миграции метаданных, сохраняя корректность и согласованность переносимых данных.
• Автоматизировать операции с помощью OpenMetadata SDK и применять его для интеграционных задач.
• Настраивать и оркестрировать пайплайны в Apache Airflow.
• Разбираться в архитектуре Source → Sink и применять её при создании интеграций для OpenMetadata.
• Использовать AI-инструменты и команду scaffold-connector для ускорения разработки коннекторов.

Что потребуется

• От 3 лет коммерческого опыта разработки интеграций на Python.
• Уверенное владение Python, включая Pydantic, классы и генераторы.
• Опыт работы с Apache Airflow и SQL; понимание взаимодействия с PostgreSQL и REST API.
• Знание OpenMetadata Server и Ingestion Framework, а также принципов Source → Sink.
• Высшее IT-образование будет преимуществом.

Что важно знать

Дополнительным преимуществом станет опыт работы с Kafka или RabbitMQ в production, включая consumer groups, DLQ и гарантии доставки. Также приветствуются знания gRPC, Protobuf, Redis, Docker, Kubernetes, CI/CD и инструментов наблюдаемости: Micrometer, Prometheus, Grafana и OpenTelemetry. В описании отдельно отмечено применение AI-инструментов для скаффолдинга коннекторов.