Что показывает трасса и что говорит метка: Аудит поведенческих детекторов в оценке агентов
arXiv:2610.30491v1 Тип объявления: новый Абстракт: LLM-агенты часто оцениваются путем сокращения трасс выполнения до меток, таких как правильность конечного ответа, проверка инструментов и распространение ошибок. Эти метки — измерения, производимые парсерами, поведенческими детекторами и harness...
- 01.arXiv:2610.30491v1 Тип объявления: новый Абстракт: LLM-агенты часто оцениваются путем сокращения трасс выполнения до меток, таких как правильность конечного ответа, проверка инструментов и распространение ошибок
- 02.Эти метки — измерения, производимые парсерами, поведенческими детекторами и harness...
Материал представлен в формате расширенного аналитического дайджеста.
Читать полную версию в первоисточникеСвязанные материалы
Все материалы →Пять странных подробностей из заявки Anthropic на IPO
Anthropic наконец-то подала в SEC свой проспект S-1, документ, призванный дать инвесторам возможность заглянуть под капот ее бизнеса: от того, сколько ее руководители зарабатывают и планируют потратить миллиарды на IPO, до рисков, которые могут подорвать ее амбиции. В более чем…
Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.
FairStress: тест на демографическую справедливость моделей
📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования,…