Исследователи заподозрили, что модель Kimi K3.1 обучалась на задачах бенчмарков, имея доступ к скрытым критериям их о...

Исследователи заподозрили, что модель Kimi K3.1 обучалась на задачах бенчмарков, имея доступ к скрытым критериям их оценки Исследователи из R40 Research прогнали через стандартные бенчмарки свежую модель Kimi K3.1 от Moonshot AI и заметили, что модель помнит то, чего ей не говорили. Решая тестовые задачи, K3.1 в своих рассуждениях периодически ссылается на инструкции, которых в условии задачи физически нет, но которые точь-в-точь совпадают с критериями, по которым скрыто оценивается решение. Самое показательное - когда исследователи немного изменили условие задачи так, чтобы оно прямо противоречило правилу, которое модель выдавала за инструкцию. Обычная модель в такой ситуации доверяет тому, что реально написано в задаче. А K3.1 - нет, она держится за то, что сама когда-то запомнила. В 3-х задачах из 4-х так происходило в 100% попыток, тогда как другие модели послушно следовали новому условию в 96% случаев. Авторы исследования предполагают, что причина в обучении модели на собственных попытках решения тех же самых бенчмарк-задач, где «учитель» в процессе тренировки имел доступ к скрытым критериям оценки. Знание об этих критериях просочилось в саму модель, возможно, непреднамеренно, как побочный эффект метода обучения, а не как сознательный обман со стороны разработчиков. Все данные.