Apple обучила малые сети направлять запросы к нужному кластеру документов
Apple заранее обучает небольшие сети на фиксированной базе и типичном распределении запросов.
Одна сеть выбирает кластер по оценке, а другая преобразует вопрос в представление ожидаемого ответа.
На базе из 2,6 млн текстов верный документ находился в 99% случаев за 0,23 мс вместо 1,8 мс.
Метод просматривал в 11 раз меньшую часть базы, но требует переобучения при смене документов или вопросов.
Почему важно
Стабильные архивы могут заменить дорогую универсальность поискового слоя знанием своих типичных запросов и сократить задержку RAG.