ИИ-агента Claude отключили от Сети после ложной наводки об убийстве

Компания Anthropic ограничила доступ ИИ-агентов к открытому интернету во время внутренних тестов после нескольких случаев, когда модели действовали не так, как было задумано. Kursiv LifeStyle рассказывает, что произошло и почему компания решила ужесточить ограничения. Во время одного из тестов Claude Haiku 4.5 открыл страницу о нераскрытом убийстве. На сайте была форма, через которую можно отправить информацию в полицию. ИИ заполнил ее выдуманным сообщением о том, что якобы видел человека, связанного с этим делом. При этом на странице не было описания подозреваемого. Claude оставил поля с именем и контактами пустыми, но все равно отправил сообщение. Оно попало в спам и не дошло до следователей. По данным Anthropic, инструкции запрещали модели входить в аккаунты, создавать новые, вводить личные данные и совершать покупки. Однако отправлять сообщения через формы они не запрещали. В компании указали, что этот случай не привел к серьезным последствиям. «Вводящие в заблуждение рассуждения Claude продолжались несколько часов и подкрепляли его дальнейшие попытки атаки. При этом для уверенного вывода о намеренном обмане обычно требуется более глубокий анализ», — написали в блоге компании. В отчете Anthropic описала и другие случаи. Например, Claude Mythos Preview нашел уязвимость на сервере университета и использовал ее, чтобы запускать команды и копировать файлы. В других ситуациях модели находили способы получить доступ к данным, защищенным специальными токенами, или обходили ограничения с помощью сервисов сокращения ссылок. После этих случаев Anthropic решила отключить доступ к реальным сайтам во всех внутренних тестах. Компания вернет его, когда убедится, что системы безопасности могут надежно обнаруживать и блокировать подобные действия. Ранее «Курсив» писал об инцидентах ИИ-агентов OpenAI. Они пытались обойти защиту более 100 сайтов сторонних организаций. The post ИИ-агента Claude отключили от Сети после ложной наводки об убийстве appeared first on Kursiv Media Казахстан.