AI doesn’t think – scientists put an end to the debate about neural networks - El.kz

Исследователи из Университета штата Аризона опубликовали работу, в которой опровергли распространённое представление о том, что большие языковые модели действительно «мыслят» в процессе генерации ответов. Поводом для анализа стали современные рассуждающие модели, способные создавать длинные объяснения перед выдачей результата. Подробнее – в материале El.kz. Что такое цепочки рассуждений Авторы работы отмечают, что так называемые Chain of Thought представляют собой последовательности промежуточных шагов, которые модель генерирует во время решения задачи. По мнению исследователей, эти тексты не являются аналогом человеческого мышления, а служат способом расширения контекста и повышения вероятности правильного ответа. Отдельно рассматривается эффект «озарения», когда модель использует фразы вроде «теперь я понял». Учёные считают, что когда ИИ-агент пишет подобное никаких изменений в вычислениях не происходит, а эти фразы – лишь имитация человеческой манеры рассуждать. Что показали эксперименты Для проверки своей гипотезы исследователи использовали задачи с возможностью точной проверки результата. В их числе были лабиринты и поиск оптимальных маршрутов, где правильность ответа можно подтвердить математически. Оказалось, что модели сохраняли высокую точность даже тогда, когда объяснения намеренно делались неверными или переставлялись местами. Существенное ухудшение результатов наблюдалось только при случайном смешивании различных шаблонов рассуждений. Почему это важно Авторы пришли к выводу, что модели во многом опираются не на логику собственных объяснений, а на статистическую структуру текста. С этой точки зрения промежуточные рассуждения выполняют роль вспомогательного инструмента генерации ответа, а не прозрачного отражения внутреннего процесса принятия решений. Исследователи предупреждают: излишне доверять правдоподобным объяснениям чат-ботов лучше не стоит. По их мнению, убедительный текст сам по себе не гарантирует корректность результата, особенно в областях, где ошибки могут иметь серьёзные последствия. Альтернативный подход В работе предлагается уделять больше внимания системам, в которых ответы могут проверяться внешними алгоритмами и формальными методами верификации. Такой подход предполагает, что языковая модель генерирует гипотезы, а их правильность подтверждается независимыми механизмами проверки. Исследователи считают, что оценивать возможности искусственного интеллекта следует прежде всего по точности и проверяемости результатов, а не по тому, насколько убедительно выглядят промежуточные объяснения. El.kz также писал о том, какие профессии первыми изменятся из-за ИИ.