Usamos cookies técnicas y el registro de visitas anonimizado de Zorky. Yandex Metrica (los datos se guardan en servidores en Rusia) solo se activa con tu consentimiento. Nunca vendemos datos. Más sobre cookies y estadísticas.
Zorky está en modo de prueba: todo es gratis. Los empleos y las páginas de empresas están abiertos a todos; los enlaces a las ofertas y tu selección personal se abren tras registrarte. Regístrate →
← Todos los empleos

Tech Lead Data engineer

Leadoffice500.000 RUB · periodo no indicadoМосква, RU →hoy
Análisis del mercado
📊 Data Engineering: salarios y demanda en el mercado
Stack
ci/cddata lakehousedevopsflinkgreenplumhadoopicebergjavajenkinskafkapythonscala
Detalles
Prácticas
CI/CD, DevOps
Mostrar empresa y enlace
Gratis, tras iniciar sesión.
Postular
Sube tu CV: empleadores y reclutadores de distintos países que buscan tu perfil podrán contactarte directamente.
Enviar tu CV →

Descripción

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.

Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Responsabilidades

Обязанности

разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.

потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки н

Descripción completa, empresa y enlace para postular: después de iniciar sesión. Iniciar sesión
Los contactos del empleador (correo/teléfono/telegram) están ocultos en la vista previa pública. Envía tu CV para que los empleadores puedan contactarte directamente.
Denunciar esta oferta
¿Pregunta urgente? Escribe a @termdocs