Текстовая JEPA согласовала представления с визуальными моделями без парных данных
Текстовую и визуальную JEPA обучали независимо на описаниях и снимках, не используя пары «изображение + текст».
Их представления совпали с точностью до поворота пространства признаков.
Для того же согласования JEPA потребовалось в 42 раза меньше примеров, чем при обучении предсказанию следующего токена.
Текстовая JEPA со 109 млн параметров превзошла проверенные языковые модели размером до 72 млрд параметров.
Почему важно
Совместимые представления разных модальностей можно получать без парных датасетов и на порядки меньшими моделями.