Google перенесла многошаговый поиск из рассуждений LLM в диффузионную модель
FOLM учится создавать подзапросы по наградам за связь с базой, разнообразие и соответствие исходному запросу
Затем поведение дистиллируют в модель на 53,9 млн параметров, которая сразу выдает набор эмбеддингов
R4T ускорил query fan-out в 12–20 раз по сравнению с авторегрессионными подходами
Почему важно
Дорогой поиск можно компилировать в маленькую модель и платить за сложное рассуждение при обучении, а не при каждом запросе.