Senior Data Engineer (Python/Java/Scala)
Описание роли
В роли Senior Data Engineer вы будете играть ключевую роль в разработке и оптимизации ETL-пайплайнов для одного из крупных банков в России. Ваша работа будет сосредоточена на создании эффективных и масштабируемых решений, обеспечивающих высокую производительность обработки данных. Вы будете взаимодействовать с различными командами, включая аналитиков и разработчиков, для реализации сложных данных и бизнес-логики. Важной задачей будет оптимизация запросов SQL и работа с инструментами, обеспечивающими непрерывную интеграцию и развертывание. В ежедневные обязанности войдут: — Оптимизация сложных SQL-запросов для повышения производительности. — Разработка ETL-пайплайнов с использованием Apache Airflow. — Программирование на Python и/или Java, Scala для создания интеграционных решений. — Внедрение и поддержка инструментов dbt для трансформации данных. — Работа с экосистемой Hadoop для обработки больших объемов данных. — Использование Apache Spark для обработки данных и выполнения сложных запросов. — Интеграция с системами Kafka для потоковой обработки данных. — Проведение CICD-практик и работа с контейнерными технологиями, такими как Kubernetes и Helm.
Уникальность вакансии
Работа в Top Selection предоставляет уникальную возможность участвовать в высокопрофильных проектах, связанных с финансовым сектором. Вы будете частью команды, которая активно внедряет современные технологии и лучшие практики разработки. Мы предлагаем гибкие условия работы, что позволяет вам полностью адаптировать свой рабочий график под личные нужды, а также возможность развиваться в динамично развивающейся среде. Ваша работа будет иметь значительное влияние на качество и скорость обработки данных в банковской системе, что делает эту позицию стратегически важной. Кроме того, мы поддерживаем наших сотрудников в их стремлении к профессиональному росту и обучению.
О компании Top Selection
Top Selection — это группа компаний, специализирующаяся на продуктовой разработке и поиске IT-персонала на рынке России. Мы гордимся тем, что работаем с ведущими игроками в различных отраслях, включая финансовый сектор. Наша команда состоит из высококвалифицированных специалистов, которые активно участвуют в создании инновационных решений для бизнеса. Мы обеспечиваем поддержку и обучение для сотрудников, создавая условия для их профессионального роста и развития. Наша миссия заключается в том, чтобы помогать компаниям находить лучшие IT-решения и специалистов, что делает нас надежным партнером на рынке.
