Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Senior/Lead QA Engineer (AI/LLM Products)

SeniorofficeМосква, RU →2 tydz. temu
Analityka rynku
📊 QA / Testing: wynagrodzenia i popyt na rynku
Stack
llmplaywrightpostmanpytestpythonselenium
Szczegóły
Doświadczenie
od 5 lat
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Prześlij CV — pracodawcy i rekruterzy z różnych krajów, którzy szukają takiego profilu, będą mogli napisać do Ciebie bezpośrednio.
Wyślij CV →
Opis

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов. Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20.

Нам нужен человек, которому интересно работать именно с этой спецификой.

Чем предстоит заниматься

функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции) разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets) тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema) анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг ведение тестовой документации, баг-репортов, участие в приёмке фич взаимодействие с разработчиками и ML-инженерами при разборе дефектов. От кандидатов ждем: опыт в тестировании от 5 лет (ручное + а

Pełny opis, firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie. Wyślij CV — a pracodawcy będą mogli napisać do Ciebie sami.
Zgłoś tę ofertę
Pilne pytanie? Napisz @termdocs