Яндекс открыл Alice AI-T5 и показал, зачем поиску нужен старый encoder-decoder
Alice AI-T5-35B-A0.6B сочетает encoder-decoder с MoE и дает знания уровня 35B при вычислениях как у 0.6B
Модель отвечает за быстрые ответы в Поиске, где надо прочитать много документов и выдать короткий ответ
Команда сообщила о росте Sessions Per User на 0,34% и о 56,7% побед в попарных сравнениях против Google AI Overview
Для сжатия контекста Яндекс обучил отдельную BERT-подобную модель на 80 млн параметров
Почему важно
Под массовый поисковый сценарий снова выигрывает не универсальная LLM, а архитектура, заточенная под длинный вход и короткий ответ