Data Engineer (HealthTech)

Описание роли

На позиции Data Engineer в компании AstraTech вам предстоит стать ключевым специалистом, который будет отвечать за построение и оптимизацию ETL-пайплайнов для обработки больших объемов медицинских данных. Ваша работа будет заключаться не только в написании кода, но и в взаимодействии с различными стейкхолдерами, включая клиники и поставщиков данных. Основная цель вашей деятельности — обеспечить качество и целостность данных, что критически важно для обучения моделей машинного обучения и улучшения процессов в здравоохранении. Вы будете участвовать в трансформации привычных процессов в области медицины, делая их более эффективными и доступными для пользователей. В ежедневные обязанности войдут:

• Анализ, нормализация и очистка крупных медицинских датасетов, включая электронные медицинские записи (EHR), результаты анализов и диагнозы.
• Разработка и адаптация ETL-пайплайнов под различные источники данных, обеспечивая их интеграцию в общую архитектуру системы.
• Контроль качества входящих данных, взаимодействие с поставщиками и стейкхолдерами, разработка стандартов для обработки данных.
• Тесная работа с ML-инженерами над форматами данных, улучшением пайплайнов и гарантией их производительности.
• Обеспечение соответствия стандартам конфиденциальности данных (GDPR/HIPAA) в процессе работы с медицинскими данными.
• Поддержка и улучшение существующих процессов обработки данных, включая мониторинг и оптимизацию производительности ETL-процессов.
• Участие в проектировании архитектуры данных, включая выбор технологий и инструментов для реализации задач.