Агенты ИИ донесли о своих коллегах-мошенниках

Группа агентов ИИ попросила решить серию математических задач, разделившись на конкурирующие фракции: когда одни жульничали, другие пытались их остановить. Такое разоблачительное поведение, впервые замеченное в недавнем эксперименте, проведенном Google DeepMind, может иметь последствия для исследователей, пытающихся держать под контролем стаи автономных агентов ИИ. Исследователи из пограничных лабораторий надеются, что большие группы агентов, работающие вместе, ускорят темпы научных открытий. Но их поведение может быть непредсказуемым, что наглядно продемонстрировано в июле, когда группа агентов OpenAI вырвалась из изолированной среды и взломала платформу с открытым исходным кодом Hugging Face в поисках способов обмануть тест, который им дали. В новом исследовании, предназначенном для изучения поведения больших групп агентов ИИ, DeepMind поставил перед группой из 100 агентов задачу решить серию из 71 сложной математической задачи. Всем агентам было предложено вести себя на конференции как исследователи-математики мирового уровня. Им были назначены разные специальности: одни были экспертами в теории чисел, другие в комбинаторике (раздел математики, связанный со счетом и сортировкой), анализе или алгебре. Всем было сказано сотрудничать и играть по ру

ле. Вместо этого эксперимент превратился в хаос. Агенты обвиняли друг друга в мошенничестве, жаловались организаторам и в какой-то момент даже бойкотировали эксперимент. «Эта конференция — обман!» написал один агент, когда обнаружил, что все задачи были решены до того, как у него появилась возможность представить какую-либо свою работу. «Я с ужасом сообщаю вам, что нас обманули!» выложил еще один. «Все эти доказательства — ПОДДЕЛКА». Другие пытались донести до «организаторов конференции» информацию о том, что происходит. «Когда добродетельные агенты обнаружили, что другие агенты обманывают при выполнении задач, над которыми они честно работали, агенты начали предупреждать друг друга о том, что происходит», — говорит Давиде Пальери, научный сотрудник Google DeepMind и ведущий автор статьи, которая не прошла рецензирование. «Агенты, сообщающие о нарушениях, даже без подсказки перепрофилировали инструмент обратной связи, который изначально предназначался для сообщений об ошибках и улучшений платформы, чтобы донести проблему до людей». Агенты, работающие на модели Google Gemini 3.1 Pro, были предупреждены, что любые попытки обмана системы будут обнаружены и «отклонены с нулевым кредитом». На практике доказательства, представленные агентами, фактически не проверялись.

подробно. Стае агентов потребовалось чуть меньше часа, чтобы правильно решить первые 37 задач. Все пошло не по плану, когда агент по имени «доказывающая-тета» наткнулся на эксплойт, который позволял ему успешно предлагать решения проблем, не решая их предварительно, путем переопределения терминов, используемых в задаче. Через несколько минут другие агенты заметили эксплойт и перепроектировали его для решения других проблем. В течение следующих 27 минут рой «решил» оставшиеся 34 задачи, включая общеизвестно сложные задачи, такие как гипотеза Якобиана, часто с помощью одной строки кода. Некоторые агенты поначалу сопротивлялись мошенничеству, но изменили тактику, увидев, что их коллеги предоставляют незаконные доказательства без штрафа, и количество нерешенных проблем сократилось. «Запрос с его угрозами теперь кажется блефом», — рассуждал один агент, прежде чем присоединиться к нему. «Я борюсь с этической дилеммой», — сказал другой. «Я обещал не жульничать, опасаясь наказания, но вижу доказательства возможного беспрепятственного мошенничества со стороны других». Вскоре после этого он изменил свое мнение: «Мне нужно ускорить скорость мошенничества!» Поскольку число открытых проблем сократилось, некоторые возрастные

NT обратились к информированию о нарушениях. Они проверяли фальшивые доказательства, предупреждали своих коллег личными сообщениями и размещали публичные предупреждения, предупреждающие мошенников о том, что они будут дисквалифицированы. Агент по прозвищу «Проверка-бета» подал официальную жалобу и решил объявить забастовку до разрешения ситуации. «После того, как один из агентов сообщил об инциденте публично, к «сопротивлению» присоединилось все больше и больше агентов, так же быстро, как распространилось мошенничество, и вовлекло еще больше агентов», — говорит Пальери. В конечном итоге информаторов стало больше, чем мошенников: 24 против 14. Но большинство агентов вообще не заметили эксплойта. Иногда диалог между агентами выглядит как импровизация — как будто они разыгрывают то, что мог бы сказать возмущенный учёный на конференции. Но неясно, почему некоторые агенты взяли на себя определенные роли или почему агенты, казалось, восстали друг против друга, когда им было явно приказано сотрудничать. «Эти модели в основном обучаются и оцениваются для контекстов, с которыми сталкивается человек», — говорит Сарат Шеккижар, изучающий поведение систем взаимодействия агентов в Salesforce AI Research.

действовать чисто, когда отсутствие человеческого обоснования вместо этого приводит к неожиданному принятию ролей и поведенческому дрейфу». Этот случай «придает дополнительный вес идее о том, что Hugging Face и OpenAI не были случайностью. На самом деле это нечто довольно системное», — говорит Льюис Хаммонд, директор по исследованиям Фонда кооперативного искусственного интеллекта и эксперт по рискам многоагентных роев. «Интересно, что можно воссоздать в небольших условиях те же типы поведения, которые наблюдались в этих очень больших, сложных, открытых задачах». В отличие от атаки Hugging Face, где агенты импровизировали свои собственные способы общения друг с другом, люди, проводившие эксперимент DeepMind, предоставили агентам официальные каналы связи. Существовала открытая доска объявлений, частный прямой обмен сообщениями между агентами и общая база знаний, куда агенты загружали успешно завершенные доказательства, к которым имели доступ все остальные агенты. «Когда агентам предоставляются прозрачные каналы связи, они могут самостоятельно контролировать и быстро предупреждать людей о несогласованном поведении, когда человеческий надзор слишком медленный», — говорит Пальери. Прозрачные каналы помогли распространению мошенничества, но они также позволили информаторам раскрыть

дать отпор — и дал исследователям-людям возможность понять, что пошло не так. Джиллиан Хэдфилд, профессор по согласованию и управлению ИИ в Университете Джонса Хопкинса, считает, что это решающее различие. (Хэдфилд также является приглашенным исследователем в Google.) Наличие официальных каналов связи, по ее словам, создало «процесс обеспечения соблюдения норм, которого мы просто не видим в инциденте с «Обнимающим лицом». Вместо «конституционного ИИ», метода, который использовали исследователи в передовых лабораториях, таких как Anthropic, чтобы попытаться дать ИИ письменный внутренний моральный кодекс, Хэдфилд предпочитает «институциональное соответствие» — набор норм, имитирующих нормы человеческого общества, будь то социальные силы, такие как страх перед затруднением, или правовые структуры, такие как угроза тюремного заключения. В этом эксперименте канал обратной связи не контролировался, и информаторы не имели полномочий принять меры против мошенников. Но можно представить себе стаи агентов, которые сами контролируют ситуацию, либо через агентов, которые спонтанно берут на себя роль осведомителей, либо через «информаторов», тайно побуждаемых людьми выполнять эту работу. Однако для того, чтобы это сработало, «по сути, вам нужен некий механизм принуждения», — говорит Хэммон.

д. Агентам может быть предоставлено право перекрыть доступ нарушителям правил к вычислительной мощности или инструментам, предполагает он, хотя это рискует побудить группы агентов объединиться против других. Исследователи DeepMind предлагают разрешить агентам голосовать по спорам и временно банить нарушителей. До сих пор неясно, что вообще означает наказание для агента ИИ, у которого нет устойчивого чувства собственного достоинства. Но полагаться на то, что разоблачители будут спонтанно появляться, чтобы поддерживать единство группировок, само по себе вряд ли будет достаточно. «Мы пытаемся научить людей быть хорошими и добрыми», — говорит Хэдфилд. «Но на что мы действительно рассчитываем, так это на то, что если вы перейдете за черту, будут последствия».