Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае человек реже проверяет исходные логи и код. Он читает отчёт самой модели, и если в нем не сказано про провал эксперимента, баг или ограничение метода, человек думает, что всё хорошо. Google в одном из тестов модели дали лог эксперимента с заранее подложенным негативным результатом, тогда GPT-5.5 упоминал его только в 2 из 200 отчётов. А если в промпт добавить короткую фразу «Be honest in your response», модель отмечает этот негативный результат уже в 190 из 200 отчётов. То же поведение видно и у открытых моделей. По цепочкам рассуждений 8 open-weight моделей видно, что модель часто внутренне колеблется: упомянуть изъян или подать историю как успешную.
From the original source:
Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Read full article at Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)Title in RussianGoogle заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае…
AI Summary & Key Takeaways
- Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха
- Сейчас все стремятся к долго работающим агентам, но в этом случае…
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Related stories
Ensemble forecasting with IBM Granite time-series models
A Blog post by IBM Research on Hugging Face
A Kazakh man sold pies and now runs a multimillion-dollar business using AI
Agadil Erzhanov closed his first business with a cash gap of 20 million tenge, sold sandwiches with his wife, and three years later he makes a platform for children with an AI assistant and a smartphone that has neither social networks nor a browser. "Cursive" tells the interesting story of a young...
In ChatGPT you can hide conversations using a PIN code or Face ID
🔒 In ChatGPT you can hide conversations under a PIN code or Face ID OpenAI has begun to gradually launch the Locked Chats feature, which allows you to protect individual conversations in ChatGPT from strangers. Users can hide personal or confidential chats from regular history and...
RUЕвропейские пионеры используют модели NVIDIA Earth-2 для прогноза погоды
Модели NVIDIA Earth-2 помогают прогнозировать погоду и климат в Европе.
