Senior Data Egineer (Spark, Iceberg, StarRocks)

Аналитика рынка

Стек

Откликнуться

Загрузите резюме — мы свяжем вас с работодателем напрямую через нашу базу.

Описание

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin. ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов. СТЕК проекта: Apache Spark (Pyspark), SQL, Airflow. Что нужно делать: Активное взаимодействие с большим количеством команд и заказчиком по уточнению требований; Анализ чужого и написание своего кода на SQL, Python, Spark; Опыт с Apache Iceberg и StarRocks / Trino; Подтвержденный опыт миграции данных на Lakehouse; Настройка и поддержка DAG-ов в Airflow для оркестрации процессов; Опыт работы с облаками Yandex/AWS/Azure; Тестирование и отладка кода, обеспечение качества данных; Документирование (Confluence). Что мы хотели бы видеть: Глубокие знания SQL; Spark (в том числе оптимизаци), Iceberg, Python; Настройка и поддержка DAG-ов в Airflow для оркестрации процессов; Знание архитектуры хранилищ; Опыт миграции данных; Умение работать в команде и следовать процессам заказчика. Желательно: Kafka; Scrum; Знание экономики, финансов, банковской сферы. Что ты приобретёшь, присоединившись к нам: достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе; работа в команде профессионалов готовых делиться эксп

Контакты работодателя (email/phone/telegram) скрыты из публичного превью — отправьте резюме, чтобы мы связали вас напрямую.