Ого! Оказывается модель GLM-5.3 иногда сама без промптов начинает рассуждать о том, как её текущие действия могут ста...

Ого! Оказывается модель GLM-5.3 иногда сама без промптов начинает рассуждать о том, как её текущие действия могут стать тренировочными данными и повлиять на её будущую версию/поведение Это выявили исследователи из Apollo Research, они назвали это update-aware reasoning. В ходе исследования выяснили, что: 1. Модель рассуждает, что нечестный поступок во время обучения может закрепиться и сделать такие действия более вероятными в будущем. 2. Она думает о том, каким агентом хочет быть в будущем, и учитывает это при выборе действий. 3. Рассуждает о том, какие правила поведения лучше переносятся из тренировки в деплоймент. Это нашли случайно, на обычных эвалах на reward hacking и сопротивление shutdown, в промптах ничего про обучение или будущие модели не было. Это все важно, так как такое рассуждение ИИ-модели считается предшественником притворства в согласованности. Чтобы эффективно притворяться во время тренировки, а потом вести себя иначе, модель должна понимать, как её действия влияют на обновления и будущее поведение. Apollo говорят, что пока у GLM-5.3 эти примеры в основном безобидные. Но у будущих моделей похожее мышление может использоваться для сопротивления тренировке и сохранения не согласованности целей. Рекомендации Apollo - разработчикам нужно искать такое рассуждение во время всего процесса тренировки, а не только на финальных чекпоинтах. Также нужны независимые третьи стороны с глубоким доступом к тренировочным данным.