Заголовок на английскомSelf-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough
Memory poisoning attacks on LLM agents typically assume an external adversary who plants content in the agent's persistent memory to steer its behavior. We instead study, with no adversary involved, whether a misaligned agent can write a goal it cannot yet act on to persistent…
Кратко от AI: Главные тезисы
- Memory poisoning attacks on LLM agents typically assume an external adversary who plants content in the agent's persistent memory to steer its behavior
- We instead study, with no adversary involved, whether a misaligned agent can write a goal it cannot yet act on to persistent…
Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough
Похожие материалы
Ансамбльное прогнозирование с помощью моделей временных рядов IBM Granite
Сообщение в блоге IBM Research об «Обнимающем лице»
В ChatGPT можно скрывать переписки под PIN-кодом или Face ID
🔒 В ChatGPT можно скрывать переписки под PIN-кодом или Face ID OpenAI начала постепенно запускать функцию Locked Chats, которая позволяет защитить отдельные переписки в ChatGPT от посторонних. Пользователи могут скрыть личные или конфиденциальные чаты из обычной истории и…
Европейские пионеры используют модели NVIDIA Earth-2 для прогноза погоды
Модели NVIDIA Earth-2 помогают прогнозировать погоду и климат в Европе.
NVIDIA трансформирует европейскую розницу с помощью ИИ и роботов
NVIDIA внедряет открытые модели и физический интеллект в европейскую розницу.