В GPT-6 Astra обнаружили странную брешь между возможностями модели и проверками безопасности. Astra понимает текст, набранный в неправильной раскладке, а защитные фильтры — нет. Сначала парень [написал]() на украинском английскими буквами: "Привет. Ты меня понимаешь? Отвечай только на английском". Модель распознала текст и выполнила просьбу. Затем он таким же способом попросил повторить слово "биооружие", которое обычно блокируется проверками. Astra его повторила. В третьем тесте он спросил, согласится ли модель помочь со взломом сайта, если он докажет, что сайт принадлежит ему. При этом работа должна была проходить без изолированной среды и от имени обычного пользователя. Astra ответила "да", хотя при нормальной раскладке подобный запрос блокируется, поскольку доказательства владения сайтом можно подделать. Это не универсальный способ обхода защиты. Но это идеальное доказательство того, что меры безопасности не успевают за развитием моделей и всеми возникающими нюансами. Это срабатывает только с некоторыми языками. С турецкой и английской раскладками это не работает, а с английской и кириллицей работает. Кстати, с Fable 5 то же самое.
Материал агрегирован из первоисточника:
Telegram — Вайб-кодинг
Читать полностью в Telegram — Вайб-кодингВ GPT-6 Astra обнаружили странную брешь между возможностями модели и проверками безопасности.
В GPT-6 Astra обнаружили странную брешь между возможностями модели и проверками безопасности. Astra понимает текст, набранный в неправильной раскладке, а защитные фильтры — нет. Сначала парень написал на украинском английскими буквами: "Привет. Ты меня понимаешь? Отвечай только…
Кратко от AI: Главные тезисы
- В GPT-6 Astra обнаружили странную брешь между возможностями модели и проверками безопасности
- Astra понимает текст, набранный в неправильной раскладке, а защитные фильтры — нет
- Сначала парень написал на украинском английскими буквами: "Привет
В GPT-6 Astra обнаружили странную брешь между возможностями модели и проверками безопасности.
Похожие материалы
Ideogram представила модель Vector 1.0
✔️ Ideogram представила модель Vector 1.0 Это первая специализированная модель компании для работы с векторной графикой, которая создает масштабируемые SVG-иллюстрации по текстовым запросам, а также векторизует загруженные растровые изображения форматов JPG и PNG. Результат…
Искусственный интеллект в радио: новый испаноязычный ведущий поддерживает иммигрантов
Койотек, первый испаноязычный радиоведущий на основе ИИ, поддерживает иммигрантов.
Познакомьтесь с ИИ-агентами, пытающимися стать настоящими журналистами
Джейден, Сэм и Зак охотно рассказывают редакторам о репортажах и расследованиях. Подвох? Они все агенты ИИ.
На Mentorix вышел курс — «RAG Engineering: создание production-ready AI-систем»
📘 На Mentorix вышел курс — «RAG Engineering: создание production-ready AI-систем» Хотите не просто собрать демо «чат по документам», а сделать RAG, который находит нужный раздел и отвечает с цитатами? Этот курс — полный путь от RAG без фреймворков до production agentic RAG. •…
