Яндекс обучил открытую AliceAI с нуля и обнаружил слабость метрики лосса
AliceAI-Foundation содержит 80 млрд параметров, активирует 3 млрд на токен и поддерживает контекст до 262 144 токенов
Команда обучала отдельные модели на 2 трлн токенов для проверки архитектуры и гиперпараметров
Scaling law дал неверный прогноз, потому что лосс почти не коррелировал с бенчмарками; инженеры пересобрали набор для оценки
Конвейер параллельной пересылки весов и ортогонализации Muon почти вдвое ускорил шаг оптимизатора
Почему важно
Обучение больших моделей упирается не только в вычисления: неверная оценочная выборка способна сделать ошибочным весь закон масштабирования.