Data QA для Big Data проектов

Что за роль

Вакансия Data QA в компании Centicore предполагает работу с большими объемами данных и контроль за их качеством. Основная задача заключается в валидации процессов загрузки данных и тестировании механизмов обновления. Вы будете взаимодействовать с внешними источниками данных, такими как БКИ и ФНС, а также контролировать корректность их обработки.

Что предстоит делать

• Валидация процессов загрузки данных и контроль раскладки по целевым таблицам в S3/Iceberg
• Проверка корректности скачивания данных из внешних источников
• Подтверждение обработки 100% входящего объёма данных
• Тестирование механизмов обновления и блокировка записей с аномалиями
• Анализ документации для проектирования тест-кейсов

Что потребуется

• Опыт интеграции внешних источников данных
• Практическое знание SQL для написания проверочных запросов
• Понимание архитектуры Lakehouse и слоёв хранения
• Базовое чтение кода на Python
• Знание Big Data-инструментов: Airflow, Spark

Что важно знать

Работа в компании Centicore предполагает удаленный формат с полным оформлением по ТК РФ. Вы получите возможность работать с современными инструментами и участвовать в интересных проектах в сфере Big Data.