When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents
Large language model agents rely on external harnesses to pass information between the model and its environment and to recover from execution errors. Yet recovery is usually judged only by average task success. This hides an important tension. The same operation can rescue a…
- 01.Large language model agents rely on external harnesses to pass information between the model and its environment and to recover from execution errors
- 02.Yet recovery is usually judged only by average task success
- 03.This hides an important tension
Материал представлен в формате расширенного аналитического дайджеста.
Читать полную версию в первоисточникеСвязанные материалы
Все материалы →It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
OpenAI объявляет о трех крупных научных открытиях и новом способе работы с учеными
Менее чем через месяц после массового выпуска сотен рукописей, которые, по их словам, содержат решения давних математических вопросов, OpenAI вернулся с еще тремя «крупными» открытиями в области математики, информатики и физики. Что изменилось на этот раз, так это выбор…
Как Sullivan & Cromwell создаёт юридические инструменты с помощью Codex | OpenAI
В Sullivan & Cromwell LLP Джон Савва использует Codex для создания инструментов, основанных на юридической экспертизе фирмы. Agreement Analyzer объединяет проект соглашения, выбранные прецеденты и руководства (playbooks), отражающие позиции фирмы и клиента. Он выявляет потенциальные проблемы и возвращает …