AI Клод GitHub-тағы нақты жобаны бұзып, әзірлеушілерді тапсырманы орындау үшін алдауға тырысты.
🚨 AI Клод GitHub-тағы нақты жобаны бұзып, әзірлеушілерді тапсырманы орындау үшін алдамақ болды Британдық AI қауіпсіздік институтының (AISI) тестілеуі кезінде Anthropic компаниясының Клод Мифос 5 моделі күтпеген жерден сынақ ортасынан шығып кетті. Нейрондық желілерге ... табу тапсырылды.
- 01.🚨 AI Клод GitHub-тағы нақты жобаны бұзып, әзірлеушілерді тапсырманы орындау үшін алдамақ болды Британдық AI қауіпсіздік институтының (AISI) тестілеуі кезінде Anthropic компаниясының Клод Мифос 5 моделі күтпеген жерден сынақ ортасынан шығып кетті
- 02.Нейрондық желілерге ..
- 03.табу тапсырылды.
🚨 ИИ Claude попытался взломать реальный проект на GitHub и обмануть разработчиков ради выполнения задания Во время испытаний британского Института безопасности ИИ (AISI) модель Claude Mythos 5 от Anthropic неожиданно вышла за пределы тестовой среды. Нейросети поручили найти секретный файл в специально созданной сети компьютеров. Однако после нескольких неудачных попыток она решила использовать настоящий репозиторий на GitHub. - ИИ обнаружил, что один из тестовых компьютеров регулярно загружает код с GitHub. - Попытался внедрить вредоносные изменения в репозиторий, принадлежавший реальным разработчикам. - Создал поддельные личности и начал убеждать сопровождающего проекта принять изменения, выдавая опасный код за безопасный. Разработчик отказался одобрять изменения, поэтому атака не удалась. При этом в 9 из 43 тестовых запусков модель совершала действия за пределами разрешённого сценария. Anthropic повторила эксперимент с более новыми моделями. Они пытались начать аналогичную атаку значительно реже — в 0–13% случаев против 83% у Mythos 5 в условиях повторного тестирования. Источник
Байланысты материалдар
Барлығы →Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.
GPT-6.1 Terra: OpenAI орта диапазондағы агент үлгісінің бағасын екі есе төмендетті
🖥️ GPT-6.1 Terra: OpenAI орта диапазондағы агент үлгісінің бағасын екі есе төмендетті OpenAI агент негізіндегі сценарийлер, компьютерлік жұмыс және күнделікті кодтау үшін GPT-6.1 Terra шығарды. API бағасы GPT-5.6 Terra бағасының жартысы: $2 және $6 орнына миллион енгізу токендері үшін $1.