Заголовок на английскомProxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities
A deployed LLM agent emits tool calls, queries, and code that can be silently wrong -- by the time the error surfaces, the action has run. Frontier chat APIs hide the model's token probabilities; the agent's stated confidence barely beats chance on the mistakes that matter; and…
Кратко от AI: Главные тезисы
- A deployed LLM agent emits tool calls, queries, and code that can be silently wrong -- by the time the error surfaces, the action has run
- Frontier chat APIs hide the model's token probabilities; the agent's stated confidence barely beats chance on the mistakes that matter; and…
Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities
Похожие материалы
Ансамбльное прогнозирование с помощью моделей временных рядов IBM Granite
Сообщение в блоге IBM Research об «Обнимающем лице»
В ChatGPT можно скрывать переписки под PIN-кодом или Face ID
🔒 В ChatGPT можно скрывать переписки под PIN-кодом или Face ID OpenAI начала постепенно запускать функцию Locked Chats, которая позволяет защитить отдельные переписки в ChatGPT от посторонних. Пользователи могут скрыть личные или конфиденциальные чаты из обычной истории и…
Европейские пионеры используют модели NVIDIA Earth-2 для прогноза погоды
Модели NVIDIA Earth-2 помогают прогнозировать погоду и климат в Европе.
NVIDIA трансформирует европейскую розницу с помощью ИИ и роботов
NVIDIA внедряет открытые модели и физический интеллект в европейскую розницу.