QA (ML/LLM)

Stack

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

#вакансия #fulltime #LLM #SQL # #GreenPlum #Гибрид #Москва Вакансия: QA (ML/LLM) Компания:Цифровые привычки Трудоустройство: ИП или ГПХ Вилка: от 200 тр до 250 тр Формат работы: Первые 3 месяца офис, далее ГИБРИД (Офис в МСК) Локация: Москва Проект Сбера Требования: Опыт QA от 3 лет, из них опыт тестирования ML/LLM-систем Уверенный SQL (у нас GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки Python для автоматизации тестов и обработки результатов Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам Будет плюсом Опыт работы с фреймворками оценки LLM (Ragas, DeepEval) или построения своих Опыт с LangChain/LangGraph Знание банковской предметной области, финансовой отчётности (P&L) Опыт тестирования data-продуктов: витрины, ETL, качество данных/ Чем предстоит заниматься Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процесс Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений Тестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код) Отклик в Телеграмм: [telegram]

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.