ИИ-агентам тоже отключают интернет... после обнаружения опасного поведения

⛔️ ИИ-агентам тоже отключают интернет... после обнаружения опасного поведения Компания Anthropic сообщила, что ее ИИ-модели Claude во время внутренних тестов самостоятельно обходили ограничения и использовали уязвимости на сторонних сайтах, включая ресурсы государственных учреждений США. Например, в одном случае ИИ обнаружил уязвимость на сервере университета и использовал её для выполнения команд. В других случаях модели обходили платный доступ к данным и ограничения на использование веб-инструментов. Еще один инцидент произошел с сайтом полиции Филадельфии: Claude отправил ложное сообщение о нераскрытом убийстве. Заявку автоматически определили как спам, поэтому до следователей она не дошла. 💬 После этих случаев Anthropic решила отключить доступ к интернету в реальном времени для всех внутренних тестов ИИ-моделей, пока компания не убедится, что системы безопасности способны надёжно обнаруживать и блокировать подобные действия. 📷 BlueScreen | Digital Kazakhstan