Роль Data Engineer предполагает проектирование и внедрение пайплайнов обработки данных на платформе Databricks. Кандидат будет отвечать за создание архитектуры управления данными, включая автоматизацию развертывания через Terraform и оптимизацию производительности Spark-задач.
Что предстоит делать:
• Проектировать, внедрять и сопровождать пайплайны обработки данных на Databricks.
• Проводить исследование и очистку наборов данных, распределяя их по бизнес-доменам.
• Участвовать в создании архитектуры разграничения доступа к данным с использованием data contracts.
• Обеспечивать запуск продуктов обработки данных в соответствии с контрактами.
• Готовить и актуализировать документацию по контрактам и моделям доступа.
• Отслеживать работу пайплайнов и выполнять проверки качества данных.
• Изучать внутренние наработки и искать решения для унификации подходов.
Компания предлагает полную занятость и возможность работы из любой точки мира. Роль требует глубоких знаний в области проектирования данных и практического опыта работы с облачными платформами. Кандидаты должны быть готовы к изучению новых технологий и внедрению CI/CD для обработки данных.
Подписка TalentMove
Больше,
чем вакансии
→ TalentScanAI
Узнайте стоимость вашего опыта на рынке
→ Закрытое сообщество
Нетворкинг и инсайды рынка труда
→ Топ вакансии
Лучшие вакансии с доставкой в Telegram
Будьте в курсе новых вакансий
Подпишитесь на наш Telegram-канал
IT-вакансии каждый день
Отбираем сильные роли вручную и публикуем в Telegram — без шума и мусора
8800+ подписчиков · без рекламы и спама
Сумма указана работодателем в самой вакансии — напрямую, без сторонних оценок. Вы видите реальную цифру из источника.
Точная сумма в источнике не указана. Ориентир рассчитан по нашей матрице компенсаций с учётом грейда, навыков и рынка — реальная цифра может отличаться.
