Google proposed “sleep” for language models - a separate stage at which AI consolidates new knowledge and trains on...

Google предложила «сон» для языковых моделей – отдельный этап, на котором ИИ закрепляет новые знания и тренируется на собственных примерах. Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью. В SLEEP чередуются два режима: Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти. Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается. Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения. Что показали эксперименты команды: - BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах. - Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках. - Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025. «Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными. https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/ @data_analysis_ml