Data Engineer

Аналитика рынка

Стек

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее. Нашему будущему коллеге предстоит работать над развитием Big Data Platform (hadoop + tooling in k8s) , которое является основным источником данных для всей группы компаний. Мы ищем эксперта с высокой ролью ответственности, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации. Чем предстоит заниматься Проектирование, разработка и поддержка витрины данных Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами Автоматизация процессов обновления данных Разработка правил и процедур контроля качества данных Помогать коллегам DA и DS Техническая поддержка наших инструментов Разворачивание helm chart Сборка docker образов Продуктивизация моделей машинного обучения от команды DS Что ожидаем от вас: Знания SQL Понимание жизненного цикла разработки ПО, культуры CI/CD Опыт создания и оптимизации Spark batch jobs Опыт разработки на Java (kotlin) Spring Service опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor Отличное понимание устройства и принципов проектирования БД Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет Умение писать чистый поддерживаемый код и техническую документацию Опыт работы с Docker Будет плюсом Понимание технологий DevOps, опыт работы с CI/CD-инструментами. Опыт работы с Hadoop Опыт работы с Kubernetes Опыт работы с современными брокерами и очередями сообщений Опыт работы с Nifi Математическое\инженерное образование Наш стек: последние версии Apache Spark (scala) и Apache Airflow Zeppelin Hadoop 3 Kafka Docker, Kubernetes GitLab для CI/CD Мы предлагаем Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию; Совокупный доход: оклад + годовой бонус; График работы: 5/2 (гибридный формат работы); Вакансия откры

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.