Data Engineer / Python Backend (Legal AI)
Описание роли
На позиции Data Engineer / Python Backend вы будете ключевым специалистом, который будет заниматься разработкой и поддержкой платформы Legal AI. Это уникальная возможность повлиять на создание единого источника законодательства и судебной практики для рынков UAE и MENA. Ваша работа будет сосредоточена на сборе, обновлении и обеспечении качества данных, которые являются критически важными для функционирования платформы. Вы будете разрабатывать сервисы для извлечения данных из различных источников и обеспечивать их дальнейшую обработку и нормализацию, что существенно повлияет на эффективность работы системы.
Ваши ключевые задачи:
— Разработка сервисов сбора данных из веб-источников, PDF документов и других форматов.
— Поддержка и оптимизация краулеров и парсеров, включая использование Playwright для автоматизации извлечения данных.
— Извлечение текста и таблиц из PDF-документов и приведение их к структурированному формату.
— Использование LLM для извлечения сущностей, классификации и нормализации данных, что позволит улучшить качество и точность информации.
— Построение асинхронных data-пайплайнов с использованием брокеров сообщений для обеспечения высокой производительности.
— Реализация версионирования и дедупликации данных, а также контроль изменений для поддержания актуальности данных.
— Разработка и поддержка backend/API на Python для обеспечения взаимодействия с другими компонентами системы.
Уникальность вакансии
Работа в нашей компании предлагает вам уникальный опыт в области Legal AI, который включает в себя взаимодействие с высококачественными и критически важными данными. Вы будете иметь возможность применять передовые технологии, включая LLM и асинхронные архитектуры, что позволит вам углубить свои знания и навыки. Эта роль предоставляет реальную возможность влиять на архитектуру и стандарты с самого начала проекта, а также масштабировать решения на международные рынки. Полностью удалённый формат работы предоставляет гибкость в управлении временем и местом работы.
О компании
Наша компания активно разрабатывает платформу Legal AI, направленную на создание единого источника законодательства и судебной практики для рынков UAE и MENA. Мы стремимся создать инновационные решения, которые помогут нашим клиентам эффективно использовать данные для принятия решений в области права. Мы находимся на начальной стадии, однако уже имеем амбициозные планы по расширению на рынках GCC и MENA. Наша команда состоит из опытных специалистов, которые готовы делиться своими знаниями и помогать вам развиваться в этой динамичной области.
