GigaEmbeddings 10B-A1.8B - новый флагман и топ-1 в ruMTEB

Stack

Apply

Upload your CV — we will connect you with the employer directly through our pool.

Description

​​Разработчики GigaChat выложили в open source обновлённую линейку GigaEmbeddings - от компактной модели 480M для высоконагруженного поиска и рабочего стандарта 3B до нового MoE-флагмана 10B-A1.8B. Главное в релизе: • GigaEmbeddings 10B-A1.8B - новый флагман и топ-1 в ruMTEB • Большой прирост качества на английском и особенно в задачах с кодом • Поддержка vLLM и SGLang • Три размера модели под разные требования к скорости и качеству • Более быстрый батчевый инференс GigaEmbeddings 10B-A1.8B - MoE-модель с 10B общих и всего 1.8B активных параметров. Она превосходит новую 3B по качеству на всех бенчмарках и при этом быстрее неё на батчевом инференсе. На vLLM флагман в 1,44–1,61 раза быстрее Qwen3 Embedding 4B. На последовательностях длиной 512 преимущество достигает 61%: 112,6k против 70,1k токенов/с. Результаты Главный прирост - в задачах с кодом: новая 3B набирает 76,93 против 62,37 у прошлого релиза, а флагманская 10B-A1.8B - 78,40. На русском флагман достигает 74,99 и занимает первое место в ruMTEB. Что изменили в обучении В несколько раз увеличили объём данных на этапах contrastive pretrain и fine-tuning, в том числе за счёт открытых датасетов Nemotron, F2LLM и KALM. Чтобы улучшение английского и кода не привело к просадке на русском, использовали мержинг моделей с помощью SLERP. Он помог сохранить баланс между языками и классами задач. Компактную GigaEmbeddings 480M дополнительно обучили с помощью дистилляции от топовых моделей: передавали распределения cosine similarity внутри батча через KL divergence. В результате новая линейка стала качественнее, быстрее и удобнее для production. Все модели доступны в open source. HF: 480M 3B 10B-A1.8B

Employer contacts (email/phone/telegram) are hidden from the public preview — send your CV, and we will connect you directly.