Data Engineer

Основные требования

• Опыт разработки в промышленных реляционных базах данных;
• Уверенное знание SQL и умение анализировать данные, строить связи между таблицами;
• Опыт разработки витрин данных (data marts) для аналитики и BI;
• Практический опыт работы с ETL-инструментами (или самостоятельной реализации ETL-процессов);
• Опыт проектирования потоков передачи данных (по расписанию и/или в реальном времени);
• Опыт работы с PL/SQL (процедуры, функции, триггеры);
• Базовое знание ОС Linux (работа с файлами, сервисами, логами);
• Опыт работы с Git;
• Опыт работы с Jira или аналогичными системами управления задачами;
• Английский язык на уровне не ниже pre-intermediate (чтение документации, базовая коммуникация).

• Опыт работы с DWH архитектурами (star schema, snowflake);
• Опыт работы с инструментами оркестрации (Airflow или аналоги);
• Опыт интеграции с BI-системами (Power BI, Tableau и др.);
• Понимание различий OLTP и OLAP систем;
• Опыт работы с потоковой обработкой данных (Kafka и др.).

• Проектирование и разработка решений на базе реляционных БД: создание схем, таблиц, представлений и оптимизация структуры хранения данных;
• Разработка, настройка и сопровождение витрин данных (data marts) для аналитиков и Data Scientist-ов;
• Проектирование и реализация ETL-процессов (batch и near real-time): извлечение, трансформация и загрузка данных;
• Настройка и развитие потоков передачи данных между системами (интеграции, синхронизация, обработка ошибок);
• Разработка и оптимизац