QA Specialist для Data Engineering

Что за роль

QA Specialist в области Data Engineering, работающий над тестированием бэкенд-систем в Big Data. Роль требует глубокого понимания архитектуры Data Lake и навыков работы с различными инструментами для обеспечения качества данных.

Что предстоит делать

• Тестирование бэкенд-систем в контексте Big Data
• Оптимизация SQL-запросов и работа с различными диалектами SQL (Trino/StarRocks, PostgreSQL)
• Использование Git и GitLab CI/CD для управления версиями
• Работа с S3 и форматами Parquet/ORC
• Создание и выполнение тестов с использованием pytest и unittest
• Мониторинг и анализ метрик пайплайнов

Что потребуется

• Опыт работы с Apache Spark или Flink
• Знание инструментов Data Quality и протоколов Kafka будет плюсом
• Опыт работы с Timeseries DB (InfluxDB, TimescaleDB)
• Понимание принципов ACID-транзакций в распределенных системах

Что важно знать

Проект длится 6 месяцев с возможностью работы на удаленной основе. Оформление через ИП. Заработная плата до 260,000 рублей на руки.