Инженер данных (Hadoop)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя! Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в Feature

Store B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.

проектирование, разработка и сопровождение витрин данных на базе Hadoop участие в разработке ETL-процессов для загрузки данных в витрины; поддержка и мониторинг работы витрин данных взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных; разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality) документирование разработанных решений.

практический опыт в разработке витрин данных, выстраивании ETL-процессов уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки; опыт работы с Hadoop (HDFS, YARN, Hive) и Spark знание Java/Scala и опыт разработки на нём опыт разработки на Python