OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться»
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
- 01.🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection
- 02.Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие письма, файлы или сообщения, откуда её может подхватить следующий ИИ. Например, вредоносный промпт в электронном письме может заставить ассистента процитировать его целиком в ответе. Если новое письмо обработает другой агент, инструкция распространится дальше — почти как компьютерный вирус. OpenAI обнаружила такие сценарии во время тестирования моделей с помощью GPT-Red. Подтверждений реальных атак пока нет, но теперь компания использует подобные инъекции при обучении будущих моделей. Источник
Байланысты материалдар
Барлығы →It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
OpenAI үш үлкен ғылым жаңалықтарын және академиктермен жұмыс істеудің жаңа әдісін жариялайды
Жүздеген қолжазбаларды жаппай шығарғаннан кейін бір айдан аз уақыт өткен соң, оның айтуынша, бұрыннан келе жатқан математика сұрақтарының шешімдері бар, OpenAI математика, информатика және физика бойынша тағы үш «ірі» жаңалықпен оралды. Бұл жолғы ерекшелік – таңдау…
Жаңа толық стек дизайнері
Бүгін маған Shopify-тегі өнім дизайн студиясын басқаратын Марвин Швайболд қосылды. Ол бізге өз процесін сахна сыртында көрсетеді, >> [музыка] >> мұнда оның дизайнын өмірге келтіру үшін соңғы AI құралдарын қалай пайдаланып жатқанын көреміз, содан кейін көрермендер жіберген кейбіреулерді қарап шығыңыз…