Ведущий инженер данных (LLM)

Мы запустили новый продукт - LLM-платформу для наших клиентов из госсектора и enterprise-сегмента и развиваем его. Сейчас мы усиливаем усиливаем продуктовую команду и ищем Ведущего инженера данных , который будет отвечать за организацию и подготовку данных для AI-решений (от подключения внешних источников и проектирования модели данных до подготовки данных для поиска и RAG). КАКИЕ ЗАДАЧИ НЕОБХОДИМО РЕШАТЬ: Определять источники данных для AI-решений: базы данных, документы, API, файловые хранилища, внешние системы и потоки обновлений Проектировать модели данных: сущности и связи, версии, метаданные, lineage, права доступа и правила актуализации Организовывать сбор и обработку данных из внешних источников: очистку, нормализацию, дедупликацию, классификацию и разметку Формировать единое эталонное представление объекта (golden record) при объединении данных из нескольких источников Подготавливать данные для поиска и RAG: chunking, embeddings, индексация, векторный и гибридный поиск Настраивать retrieval и reranking, обеспечивать обновление индексов при изменении исходных данных При необходимости готовить датасеты для обучения или дообучения моделей, если задача не решается с помощью RAG Определять показатели качества данных и retrieval, организовывать их мониторинг: полнота, актуальность, precision/recall, latency и другие показатели Взаимодействовать с LLM-инженерами, аналитиками и разработчиками при проектировании AI-решений НАШИ ОЖИДАНИЯ: От 4 лет опыта в Data Engineering, Dat