Аудиторы искусственного интеллекта выявляют большую часть неправомерного поведения агентов, но заваливают рецензентов ложными тревогами, говорится в новом исследовании
Согласно исследованию исследователя Anthropic Энди Холла, модели ИИ часто могут обнаружить проблемное поведение других агентов ИИ в журналах. GPT-5 обнаружил около 98 процентов случаев взлома с вознаграждением, но чем тщательнее настроен поиск, тем больше накапливается ложных тревог. Это еще не…
- 01.Согласно исследованию исследователя Anthropic Энди Холла, модели ИИ часто могут обнаружить проблемное поведение других агентов ИИ в журналах
- 02.GPT-5 обнаружил около 98 процентов случаев взлома с вознаграждением, но чем тщательнее настроен поиск, тем больше накапливается ложных тревог
- 03.Это еще не…
AI models can often spot problematic behavior by other AI agents in logs, according to a study by Anthropic researcher Andy Hall. GPT-5 found about 98 percent of reward-hacking cases, but the more exhaustively the search is tuned, the more false alarms pile up. That's not yet enough for reliable safety checks. The article AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds appeared first on The Decoder.
Связанные материалы
Все материалы →Anthropic продолжает IPO перед Днем Благодарения, несмотря на распродажу технологий, и соглашается на более низкую оценку
Несмотря на распродажу технологий, Anthropic продвигается вперед с IPO при оценке от $1,25 до $1,75 трлн, что значительно ниже ожидаемых $2 трлн. Разработчик Claude планирует собрать от 80 до 100 миллиардов долларов до Дня Благодарения. Конкуренту OpenAI также недавно пришлось сократить свои…
США разрешили Nvidia продавать чипы в пустой офис в Китае
Высказываются опасения, что ни Министерство торговли, ни Nvidia не проявляют должной осмотрительности, когда дело доходит до проверки китайских фирм, допущенных к работе с чипами искусственного интеллекта H200 компании. По данным The New York Times, New Matrix находится в списке одобренных фирм, однако…
Разрыв между открытыми и закрытыми моделями ИИ в кибервозможностях продолжает сокращаться
В тесте Vals AI GPT-6 Sol Daybreak от OpenAI достигает 80,8 процентов целей атак в смоделированных корпоративных сетях. Хуже того, открытая модель DeepSeek V4.1 Flash достигает 72,8 процента при десятой части стоимости. Поскольку открытые модели больше нельзя ограничивать, аналитики…