Задачи

Market insights

Stack

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

🚀 Ищем сильного Data Engineer / Technical Lead на долгосрочный проект в сфере телекоммуникаций. Проект связан с масштабной миграцией ETL-процессов на Apache/open-source стек и переходом с Informatica PowerCenter на современную архитектуру обработки данных. 📍 Локация: РФ / РБ 🏠 Формат: удалённо 📄 Оформление: только ИП 🕒 График: МСК ±2 часа 💼 Занятость: полная 🎓 Уровень: Senior / Team Lead Задачи — Миграция ETL-процессов с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL / хранимые процедуры; — Разработка и оптимизация ETL/ELT-процессов; — Написание сложного SQL-кода и хранимых процедур; — Разработка и отладка DAG’ов в Apache Airflow; — Работа с потоковой и пакетной обработкой данных; — Подготовка документации AS IS / TO BE; — Настройка мониторинга и отслеживание метрик ETL-процессов; — Автоматизация проверки и контроля качества данных после миграции. Что важно Обязателен сильный практический опыт: — разработки ETL/ELT, включая реализацию значительной части логики на стороне СУБД; — разработки хранимых процедур и функций, SQL / PL/SQL или аналогичных расширений; — миграции ETL-систем на Apache/open-source стек; — миграции с Informatica PowerCenter на Airflow + Greenplum; — разработки на Python: ETL-скрипты, pandas, интеграции с API; — разработки и отладки Airflow DAGs; — работы с Apache NiFi: проектирование потоков, подключение источников, error handling, мониторинг и отладка; — работы с PySpark: трансформации, оптимизация, партиционирование; — работы с Hadoop, Hive, Hive Metastore, Parquet и ORC; — работы с Oracle, PostgreSQL, Greenplum, ClickHouse; — сложного SQL: оконные функции, joins, оптимизация запросов в highload-среде; — интеграций Apache-стека с Kafka и BI-системами; — потоковой обработки данных; — мониторинга через Grafana / Prometheus; — построения процессов Data Quality: правила валидации, сравнение результатов миграции, контроль метрик; — работы с биллинговыми системами. Будет преимуществом — опыт системного анализа ETL-процессов; — опыт управления командой в роли Team Lead от 4 лет; — умение переводить бизнес-требования в технические спецификации; — опыт подготовки технической и пользовательской документации; — создание ER-диаграмм, инструкций и тест-кейсов. ⚠️ Для проекта важен именно hands-on технический опыт: позиция предполагает не только проектирование и управление, но и непосредственную работу с SQL, Airflow, NiFi, Python и целевым Data-стеком. 📩 Если ваш опыт соответствует требованиям - присылайте актуальное резюме ТГ [handle]

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.