Nous utilisons des cookies techniques et le journal de visites anonymisé de Zorky. Yandex Metrica (données stockées sur des serveurs en Russie) ne fonctionne qu'avec votre consentement. Nous ne vendons jamais de données. En savoir plus sur les cookies et les statistiques.
Zorky est en mode test — tout est gratuit. Les offres et les pages des entreprises sont ouvertes à tous ; les liens vers les annonces et votre sélection personnelle s'ouvrent après inscription. Inscription →
← Toutes les offres

Tech Lead Data engineer

Leadoffice500 000 RUB · période non indiquéeМосква, RU →aujourd'hui
Analyses du marché
📊 Data Engineering: salaires et demande sur le marché
Stack
ci/cddata lakehousedevopsflinkgreenplumhadoopicebergjavajenkinskafkapythonscala
Détails
Pratiques
CI/CD, DevOps
Afficher l'entreprise et le lien
Gratuit, après connexion.
Postuler
Déposez votre CV : des employeurs et recruteurs de différents pays qui cherchent votre profil pourront vous contacter directement.
Envoyer votre CV →

Description

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.

Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Missions

Обязанности

разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.

потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки н

Description complète, entreprise et lien pour postuler : après connexion. Se connecter
Les contacts de l'employeur (e-mail/téléphone/telegram) sont masqués dans l'aperçu public. Envoyez votre CV pour que les employeurs puissent vous contacter directement.
Signaler cette offre
Question urgente ? Écrivez à @termdocs