Мы ищем Junior Data Engineer, который готов погрузиться в существующую инфраструктуру аналитики: разбираться в коде, оптимизировать пайплайны, исправлять баги и добавлять новые процессы. Стек уже настроен — ClickHouse, Airflow, API-интеграции, GitHub. Но главное — это не просто поддержка.
Мы находимся на этапе активного внедрения AI-решений в бизнес-процессы, и перед командой стоят амбициозные задачи по созданию больших продуктов с использованием LLM и RAG. У тебя будет возможность развиваться именно в этом направлении: участвовать в проектировании и интеграции ИИ-компонентов, работать с векторными базами данных, строить пайплайны для подачи контекста в модели.
Поддержка и развитие ETL/ELT-процессов: Обеспечение бесперебойной работы существующих пайплайнов данных (ClickHouse, Airflow), исправление ошибок и мониторинг качества данных. Работа с источниками данных: Настройка и поддержка интеграций с внешними источниками через API, а также обработка файлов, поступающих по электронной почте. Администрирование инфраструктуры аналитики: Работа с базами данных (ClickHouse, PostgreSQL), оптимизация запросов и структуры хранения.
Автоматизация: Написание скриптов на Python для автоматизации рутинных задач по загрузке и трансформации данных. Работа с Git: Ведение кода пайплайнов в системе контроля версий (GitHub), участие в код-ревью. Участие в R&D проектах: Активное участие в создании и внедрении новых больших проектов компании, связанных с интеграцией AI/LLM в бизнес-проц