Senior AQA Python Engineer для Big Data

190,000 - 190,000 RUB

Что за роль

Senior AQA Python Engineer будет проверять backend-системы для Big Data и качество обработки данных. В работе сочетаются автоматизация тестирования, анализ SQL-запросов и проверка пайплайнов в архитектуре Data Lake и Data Lakehouse. Для этой задачи важны не только тестовые сценарии, но и понимание распределённых систем и их наблюдаемости.

Что предстоит делать

    • Разрабатывать и поддерживать автотесты на Python с использованием pytest или unittest для backend-систем и процессов обработки данных.
    • Проверять корректность и качество данных в пайплайнах, применять подходящие инструменты: Great Expectations, Deequ, Soda Core или dbt tests.
    • Писать и оптимизировать SQL-запросы, использовать CTE и оконные функции, учитывать различия Trino и StarRocks по сравнению с PostgreSQL.
    • Тестировать сценарии Apache Airflow: разбирать структуру DAG и создавать тестовые операторы.
    • Анализировать хранение и обработку данных в S3, форматах Parquet и ORC, а также взаимодействие с Apache Spark или Flink.
    • Настраивать запуск тестов в GitLab CI/CD и готовить тестовые окружения с Docker и Kubernetes.
    • Использовать Grafana и Prometheus для анализа метрик пайплайнов, учитывать работу Kafka и транзакционные свойства распределённых систем.

Что потребуется

    • Опыт тестирования backend-систем в Big Data от четырёх лет.
    • Уверенное владение Python для автотестов и скриптов анализа данных; практический опыт с pytest или unittest.
    • Продвинутый SQL, опыт работы с PostgreSQL и понимание различий между диалектами запросов.
    • Знание Data Lake или Data Lakehouse, S3 и форматов Parquet или ORC; базовое понимание Spark либо Flink.
    • Опыт с Airflow, инструментами Data Quality и мониторингом Grafana или Prometheus.
    • Понимание Kafka, ACID-транзакций, GitLab CI/CD и работы с Docker или Kubernetes; опыт с InfluxDB или TimescaleDB.
    • Гражданство и локация в России.

Что важно знать

Работа полностью удалённая, предусмотрено вознаграждение до 190 000 рублей на руки. Devquality сообщает, что работает в IT более десяти лет и занимается разными видами тестирования, помогая руководителям проектов готовить релизы. Контакт для связи: @OlegHolodov88.

Оценка вакансии
7.1 / 10
Вакансия подробно описывает требования к Python, SQL, Big Data и инструментам тестирования, а также указывает зарплату и удалённый формат. Конкретные обязанности в исходнике почти не раскрыты, поэтому содержание ежедневной работы приходится уточнять на собеседовании.
Опубликовано:

Будьте в курсе новых вакансий

Подпишитесь на наш Telegram-канал

TalentMove стал Жабкой

Встречайте
TalentMove 2.0

Удобнее искать. Проще выбирать.

Открыть Жабку