OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться»
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
- 01.🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection
- 02.Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие письма, файлы или сообщения, откуда её может подхватить следующий ИИ. Например, вредоносный промпт в электронном письме может заставить ассистента процитировать его целиком в ответе. Если новое письмо обработает другой агент, инструкция распространится дальше — почти как компьютерный вирус. OpenAI обнаружила такие сценарии во время тестирования моделей с помощью GPT-Red. Подтверждений реальных атак пока нет, но теперь компания использует подобные инъекции при обучении будущих моделей. Источник
Related Intelligence
All stories →It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
OpenAI 宣布三项重大科学发现以及与学术界合作的新方式
OpenAI 大规模发布数百份手稿（据称这些手稿包含了长期存在的数学问题的解决方案）不到一个月，又在数学、计算机科学和物理学领域带来了三项“重大”发现。这次的不同之处在于选择...
新的全栈设计师
今天，Marvin Schwaibold 加入了我的行列，他是 Shopify 产品设计工作室的负责人。他将向我们展示他的幕后制作过程，>> [音乐] >> 我们将看到他如何使用最新的人工智能工具将他的设计变为现实，然后回顾一些观众提交的……