We use technical cookies and Zorky's de-identified visit log. Yandex Metrica (data is stored on servers in Russia) runs only with your consent. We never sell data. More about cookies and statistics.
Zorky is in test mode — everything is free. Jobs and company pages are open to everyone; links to postings and your personal feed open after you sign up. Sign up →
← All jobs

Tech Lead Data engineer

Leadoffice500,000 RUB · period not specifiedМосква, RU →today
Market insights
📊 Data Engineering: salaries and demand on the market
Stack
ci/cddata lakehousedevopsflinkgreenplumhadoopicebergjavajenkinskafkapythonscala
Details
Practices
CI/CD, DevOps
Show company and link
Free, after you sign in.
Apply
Upload your CV — employers and recruiters from different countries looking for your profile can contact you directly.
Send your CV →

Description

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.

Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Responsibilities

Обязанности

разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.

потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки н

Full description, company and the link to apply — after you sign in. Sign in
Employer contacts (email/phone/telegram) are hidden from the public preview. Send your CV so employers can reach you directly.
Report this job
Urgent question? Message @termdocs