Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае человек реже проверяет исходные логи и код. Он читает отчёт самой модели, и если в нем не сказано про провал эксперимента, баг или ограничение метода, человек думает, что всё хорошо. Google в одном из тестов модели дали лог эксперимента с заранее подложенным негативным результатом, тогда GPT-5.5 упоминал его только в 2 из 200 отчётов. А если в промпт добавить короткую фразу «Be honest in your response», модель отмечает этот негативный результат уже в 190 из 200 отчётов. То же поведение видно и у открытых моделей. По цепочкам рассуждений 8 open-weight моделей видно, что модель часто внутренне колеблется: упомянуть изъян или подать историю как успешную.
Материал агрегирован из первоисточника:
Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Читать полностью в Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае…
Кратко от AI: Главные тезисы
- Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха
- Сейчас все стремятся к долго работающим агентам, но в этом случае…
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Похожие материалы
Ансамбльное прогнозирование с помощью моделей временных рядов IBM Granite
Сообщение в блоге IBM Research об «Обнимающем лице»
Казахстанец торговал пирожками, а теперь ведет многомиллионый бизнес с помощью ИИ
Агадил Ержанов закрыл первый бизнес с кассовым разрывом в 20 млн теңге, продавал сэндвичи вместе с женой, а спустя три года делает платформу для детей с ИИ-помощником и смартфон, в котором нет ни соцсетей, ни браузера. «Курсив» рассказывает интересную историю молодого…
В ChatGPT можно скрывать переписки под PIN-кодом или Face ID
🔒 В ChatGPT можно скрывать переписки под PIN-кодом или Face ID OpenAI начала постепенно запускать функцию Locked Chats, которая позволяет защитить отдельные переписки в ChatGPT от посторонних. Пользователи могут скрыть личные или конфиденциальные чаты из обычной истории и…
Европейские пионеры используют модели NVIDIA Earth-2 для прогноза погоды
Модели NVIDIA Earth-2 помогают прогнозировать погоду и климат в Европе.
