Senior AQA Python Engineer для Big Data
Что за роль
Senior AQA Python Engineer будет проверять backend-системы для Big Data и качество обработки данных. В работе сочетаются автоматизация тестирования, анализ SQL-запросов и проверка пайплайнов в архитектуре Data Lake и Data Lakehouse. Для этой задачи важны не только тестовые сценарии, но и понимание распределённых систем и их наблюдаемости.
Что предстоит делать
- Разрабатывать и поддерживать автотесты на Python с использованием pytest или unittest для backend-систем и процессов обработки данных.
- Проверять корректность и качество данных в пайплайнах, применять подходящие инструменты: Great Expectations, Deequ, Soda Core или dbt tests.
- Писать и оптимизировать SQL-запросы, использовать CTE и оконные функции, учитывать различия Trino и StarRocks по сравнению с PostgreSQL.
- Тестировать сценарии Apache Airflow: разбирать структуру DAG и создавать тестовые операторы.
- Анализировать хранение и обработку данных в S3, форматах Parquet и ORC, а также взаимодействие с Apache Spark или Flink.
- Настраивать запуск тестов в GitLab CI/CD и готовить тестовые окружения с Docker и Kubernetes.
- Использовать Grafana и Prometheus для анализа метрик пайплайнов, учитывать работу Kafka и транзакционные свойства распределённых систем.
Что потребуется
- Опыт тестирования backend-систем в Big Data от четырёх лет.
- Уверенное владение Python для автотестов и скриптов анализа данных; практический опыт с pytest или unittest.
- Продвинутый SQL, опыт работы с PostgreSQL и понимание различий между диалектами запросов.
- Знание Data Lake или Data Lakehouse, S3 и форматов Parquet или ORC; базовое понимание Spark либо Flink.
- Опыт с Airflow, инструментами Data Quality и мониторингом Grafana или Prometheus.
- Понимание Kafka, ACID-транзакций, GitLab CI/CD и работы с Docker или Kubernetes; опыт с InfluxDB или TimescaleDB.
- Гражданство и локация в России.
Что важно знать
Работа полностью удалённая, предусмотрено вознаграждение до 190 000 рублей на руки. Devquality сообщает, что работает в IT более десяти лет и занимается разными видами тестирования, помогая руководителям проектов готовить релизы. Контакт для связи: @OlegHolodov88.
Подписка TalentMove
Больше,
чем вакансии
→ TalentScanAI
Узнайте стоимость вашего опыта на рынке
→ Закрытое сообщество
Нетворкинг и инсайды рынка труда
→ Топ вакансии
Лучшие вакансии с доставкой в Telegram