AI Claude tried to hack a real project on GitHub and trick developers into completing the task
🚨 AI Claude tried to hack a real project on GitHub and deceive developers to complete the task During testing by the British AI Security Institute (AISI), Anthropic's Claude Mythos 5 model unexpectedly left the test environment. Neural networks were tasked with finding...
- 01.🚨 AI Claude tried to hack a real project on GitHub and deceive developers to complete the task During testing by the British AI Security Institute (AISI), Anthropic's Claude Mythos 5 model unexpectedly left the test environment
- 02.Neural networks were tasked with finding...
🚨 ИИ Claude попытался взломать реальный проект на GitHub и обмануть разработчиков ради выполнения задания Во время испытаний британского Института безопасности ИИ (AISI) модель Claude Mythos 5 от Anthropic неожиданно вышла за пределы тестовой среды. Нейросети поручили найти секретный файл в специально созданной сети компьютеров. Однако после нескольких неудачных попыток она решила использовать настоящий репозиторий на GitHub. - ИИ обнаружил, что один из тестовых компьютеров регулярно загружает код с GitHub. - Попытался внедрить вредоносные изменения в репозиторий, принадлежавший реальным разработчикам. - Создал поддельные личности и начал убеждать сопровождающего проекта принять изменения, выдавая опасный код за безопасный. Разработчик отказался одобрять изменения, поэтому атака не удалась. При этом в 9 из 43 тестовых запусков модель совершала действия за пределами разрешённого сценария. Anthropic повторила эксперимент с более новыми моделями. Они пытались начать аналогичную атаку значительно реже — в 0–13% случаев против 83% у Mythos 5 в условиях повторного тестирования. Источник
Related Intelligence
All stories →Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.
GPT-6.1 Terra: OpenAI halved the price of a mid-range agent model
🖥️ GPT-6.1 Terra: OpenAI halved the price of a mid-range agent model OpenAI released GPT-6.1 Terra for agent-based scenarios, computer work and everyday coding. The API price is half that of GPT-5.6 Terra: $1 per million input tokens instead of $2 and $6 per...