Description
Чем предстоит заниматься Разрабатывать и сопровождать ETL/ELT-пайплайны. Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG. Проектировать и реализовывать интеграции и потоки данных.
Работать с DWH (ODS / DDS / ADS) и большими объёмами данных. Оптимизировать запросы, пайплайны и процессы обработки данных. Анализировать и устранять инциденты, повышать стабильность процессов.
Участвовать в code review и развитии стандартов разработки. Реализовывать и поддерживать проверки качества данных. Взаимодействовать с аналитиками, Data Scientists и другими командами.
Участвовать в развитии Data Platform и технической документации. Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды. Что важно Уверенный SQL и Python.
Практический опыт работы с Apache Airflow. Опыт разработки ETL/ELT-пайплайнов. Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.
Опыт работы с MPP СУБД, предпочтительно Greenplum. Понимание принципов оптимизации запросов и пайплайнов. Опыт работы с Git и code review.
Понимание принципов Data Quality и Data Governance.
Будет плюсом
Опыт работы с ClickHouse и S3. Понимание Data Vault. Опыт настройки мониторинга и алертинга. Знакомство с каталогами данных, например OpenMetadata. Опыт CI/CD и DevOps-практик.
Employer contacts (email/phone/telegram) are hidden from the public preview —
send your CV, and we will connect you directly.