Usamos cookies técnicos e o registro de visitas anonimizado do Zorky. O Yandex Metrica (dados armazenados em servidores na Rússia) só funciona com o seu consentimento. Nunca vendemos dados. Mais sobre cookies e estatísticas.
O Zorky está em modo de teste — tudo é gratuito. As vagas e as páginas das empresas são abertas a todos; os links dos anúncios e sua seleção pessoal abrem após o cadastro. Cadastre-se →
← Todas as vagas

Tech Lead Data engineer

Leadoffice500.000 RUB · período não informadoМосква, RU →hoje
Análises de mercado
📊 Data Engineering: salários e demanda no mercado
Stack
ci/cddata lakehousedevopsflinkgreenplumhadoopicebergjavajenkinskafkapythonscala
Detalhes
Práticas
CI/CD, DevOps
Mostrar empresa e link
Grátis, depois de entrar.
Candidatar-se
Envie seu currículo: empregadores e recrutadores de vários países que procuram o seu perfil poderão falar com você diretamente.
Enviar seu currículo →

Descrição

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.

Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Responsabilidades

Обязанности

разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.

потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки н

Descrição completa, empresa e link para se candidatar: depois de entrar. Entrar
Os contatos do empregador (e-mail/telefone/telegram) ficam ocultos na prévia pública. Envie seu currículo para que os empregadores possam falar com você diretamente.
Denunciar esta vaga
Pergunta urgente? Escreva para @termdocs