Middle Data Engineer по Databricks, Python, LLM

Что за роль

Вакансия для Middle Data Engineer, который будет работать над проектом по превращению больших объемов клинических исследовательских документов в надежные данные, готовые для использования в AI. Основное внимание уделяется разработке и оптимизации пайплайнов данных на Databricks и Azure, а также интеграции LLM в рабочие процессы.

Что предстоит делать

• Извлечение и структурирование данных из больших коллекций PDF-документов клинических исследований
• Создание уровней bronze, silver и gold в Databricks с использованием Python и Delta tables
• Интеграция LLM-эндпоинтов в пайплайны данных и мониторинг затрат на токены
• Построение графа Neo4j вместе с Delta tables для запросов агентов
• Подготовка данных gold-уровня для использования в API-инструментах
• Консолидация разрозненных и избыточных пайплайнов Databricks

Что важно знать

Роль предлагает возможность работать с передовыми технологиями в области здравоохранения и клинических исследований. Участие в проекте, который имеет значительное влияние на обработку и анализ медицинских данных, что может привести к улучшению качества медицинских услуг.