Мы используем технические cookie и обезличенный журнал посещений Zorky. Яндекс Метрику (данные хранятся на серверах в РФ) включаем только с вашего согласия. Данные не продаём. Подробнее о cookie и статистике.
Zorky в тестовом режиме — всё бесплатно. Вакансии и страницы компаний открыты всем; ссылки на объявления и личная подборка — после регистрации. Зарегистрироваться →
← Все вакансии

Tech Lead Data engineer

Leadoffice500,000 RUB · период не указанМосква, RU →сегодня
Аналитика рынка
📊 Data Engineer: зарплаты и спрос на рынке
Стек
ci/cddata lakehousedevopsflinkgreenplumhadoopicebergjavajenkinskafkapythonscala
Условия
Практики
CI/CD, DevOps
Показать компанию и ссылку
Бесплатно, после входа в кабинет.
Откликнуться
Загрузите резюме — работодатели и рекрутеры из разных стран, которым нужен ваш профиль, смогут написать вам напрямую.
Отправить резюме →

Описание

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.

Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Задачи

Обязанности

разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.

потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки н

Полное описание, компания и ссылка на вакансию — после входа. Войти
Контакты работодателя (email/phone/telegram) скрыты из публичного превью. Отправьте резюме — и работодатели смогут написать вам сами.
Пожаловаться на вакансию
Срочный вопрос? Напишите @termdocs