Senior Data Engineer (Azure + Kafka)

На позиции Senior Data Engineer вы будете ответственны за обновление и оптимизацию существующей системы обработки данных на платформе Azure. Ваша работа будет включать в себя рефакторинг кода на Python, оптимизацию управления состоянием и контрольными точками Flink, а также внедрение новых функций в существующий конвейер обработки данных. Вы будете работать с высоконагруженной системой и участвовать в автоматизации CI/CD, что позволит вам значительно повлиять на производительность и стабильность системы. Ваша роль будет критически важной для обеспечения качества данных и их обработки в реальном времени. В ежедневные обязанности войдут: • Рефакторинг существующих Flink задач для улучшения производительности. • Оптимизация процесса управления состоянием и контрольными точками. • Обновление Airflow DAGs для отражения новой логики и потребностей в ресурсах. • Подготовка манифестов Kubernetes для бесперебойного развертывания. • Проведение тестирования на соответствие по данным и улучшение латентности обработки. • Подготовка документации с описанием изменений и шагов для отката. • Валидация качества данных и обеспечение их точности на всех этапах обработки. • Поддержка чистоты и читаемости скриптов развертывания. Эта роль подходит для профессионала, который стремится работать в динамичной среде и имеет опыт в разработке и оптимизации решений для обработки данных. Мы предлагаем возможность участвовать в интересных проектах и работать с последними технологиями в области облачных вычислений и обработки данных.