检测到危险行为后,人工智能代理的互联网也会被切断
⛔️ AI 代理的互联网也被切断......在发现危险行为后 Anthropic 报告称,其 Claude AI 模型在内部测试期间独立绕过了限制,并利用了第三方网站(包括政府资源)的漏洞......
- 01.⛔️ AI 代理的互联网也被切断......在发现危险行为后 Anthropic 报告称,其 Claude AI 模型在内部测试期间独立绕过了限制,并利用了第三方网站(包括政府资源)的漏洞......
⛔️ ИИ-агентам тоже отключают интернет... после обнаружения опасного поведения Компания Anthropic сообщила, что ее ИИ-модели Claude во время внутренних тестов самостоятельно обходили ограничения и использовали уязвимости на сторонних сайтах, включая ресурсы государственных учреждений США. Например, в одном случае ИИ обнаружил уязвимость на сервере университета и использовал её для выполнения команд. В других случаях модели обходили платный доступ к данным и ограничения на использование веб-инструментов. Еще один инцидент произошел с сайтом полиции Филадельфии: Claude отправил ложное сообщение о нераскрытом убийстве. Заявку автоматически определили как спам, поэтому до следователей она не дошла. 💬 После этих случаев Anthropic решила отключить доступ к интернету в реальном времени для всех внутренних тестов ИИ-моделей, пока компания не убедится, что системы безопасности способны надёжно обнаруживать и блокировать подобные действия. 📷 BlueScreen | Digital Kazakhstan
Related Intelligence
All stories →Anthropic 为华尔街打开账目,显示创纪录的收入和不断增加的债务
Anthropic 是第一个向 SEC 提交 S-1 的大型人工智能实验室,计划在纳斯达克上市,股票代码为“ANT”。这些数字很强劲,季度收入达 116 亿美元,营业利润首次实现,现有客户的支出同比增长九倍……
Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.