Building Trust in AI Agents: An Assessment with Amazon Bedrock AgentCore

Согласно материалу AWS Machine Learning, каждая организация, стремящаяся внедрить ИИ-агентов, сталкивается с одной и той же проблемой: агент, который демонстрирует отличные результаты, может незаметно деградировать в производственной среде, и к моменту, когда человек это заметит, доверие уже будет подорвано. В отличие от традиционного программного обеспечения, которое дает сбои явно, агенты могут давать уверенные, но неверные ответы. Когда такой ответ становится основой для бизнес-решения, это не просто сбой функции, а разрушение отношений с пользователем. Поэтому задача заключается не в том, чтобы создать агентов, которые работают один раз, а в том, чтобы доказать, что они продолжают работать на протяжении всего времени, на всех уровнях и во всех рабочих процессах. Команды, которые преуспеют в эпоху агентов, будут теми, кто рассматривает качество не как финальный этап контроля качества, а как операционную систему самого агента: постоянно измеряемую, автоматически защищаемую и улучшаемую с каждым взаимодействием. В этой статье мы покажем, как мы создали непрерывный цикл качества для готовых к производству агентов на основе Amazon Bedrock AgentCore. Решение использует Amazon Bedrock AgentCore и другие услуги AWS для внутреннего использования, позволяя продавцам и руководителям задавать бизнес-вопросы на простом английском языке через Amazon Quick. За этой единичной системой работают несколько специализированных подагентов: Агент анализа производительности для анализа доходов и производительности, Агент анализа клиентов для получения информации о клиентах, Агент анализа данных для текстового запроса SQL по основным наборам данных и прямой доступ к панели управления. Ответы ограничены по территории и уровню безопасности пользователя, что критично для планирования стратегии аккаунта и подготовки к встречам с клиентами. Наиболее серьезная ошибка — это не сбой системы, а уверенный ответ, который оказывается неверным. Перед запуском, когда мы оценивали Агент анализа клиентов, мы обнаружили, что он сообщил о трехмесячном доходе клиента в размере 410,08 доллара США как о 410,08 миллиона долларов. Он также неверно обозначил доход от продаж, исключив корректировки, и предложил оценку годового повторяющегося дохода, которая не имела подтверждения в данных. Эти ошибки, если бы они были выпущены незамеченными, могли бы дорого обойтись. Продавец, который повторяет завышенные цифры, может потерять доверие клиента. Именно поэтому мы выявили эту ошибку до запуска. Риски не заканчиваются на этапе запуска, они растут с каждым новым агентом и каждым изменением данных, подсказок, кода или моделей. Они также увеличиваются без каких-либо релизов, поскольку верхние каналы обновляют данные каждую неделю. Скоординированные релизы создают дополнительные риски: когда изменение данных, изменение инструмента и обновление подсказок должны быть выпущены вместе, но выходят по отдельности, система может работать с несоответствиями, пока все изменения не будут согласованы. В одном тесте перед производством этот временной разрыв сам по себе снизил уровень успешности с 78% до 38%. Чтобы выявлять такие сбои до каждого релиза и непрерывно в производственной среде, нам нужна структура, которая может показать, правильны ли ответы и отследить каждую ошибку до ее коренной причины в данных, подсказках или коде агента. В AWS команда операций по продажам, маркетингу и глобальным услугам разработала многопользовательскую систему, обслуживающую полевые продажи AWS по всему миру. Она обслуживает две разные аудитории: для полевых команд продаж она заменяет часы ручного анализа данных на запрашиваемую разговорную аналитику, помогая продавцам понимать состояние своего бизнеса, выявлять риски и возможности, а также быстрее принимать меры. Для руководства она поддерживает деловые процессы, включая еженедельные обзоры бизнеса, выявляя важные сигналы по всему портфелю без необходимости в ручной подготовке отчетов. Эта система агентов обслуживает как продавца на переднем плане, так и руководителя, который анализирует производительность в масштабе. Система агентов координирует растущий портфель специализированных подагентов, каждый из которых отвечает за свою область компетенции. Среди них: Агент анализа производительности генерирует бизнес-аналитику на естественном языке из сложных данных о продажах, превращая сырые метрики в практические инсайты для продавцов. Агент анализа клиентов собирает 360-градусный обзор каждого клиента, синтезируя сигналы по использованию продукта, истории поддержки, статусу контракта и данным о взаимодействии, помогая продавцам понять, на каком этапе находится клиент и что ему нужно дальше. Агент анализа данных — это агент текстового запроса SQL, который команды аккаунтов используют для запроса структурированных аналитических данных на простом английском без написания кода SQL. Эти три агента упоминаются в дальнейшей части статьи. Надежная координация этих агентов в масштабе показала, что качество агентов не является операционной проблемой, которую можно решить позже. Это предпосылка для работы. Один деградировавший подагент может тихо испортить каждый ответ, и традиционный мониторинг этого не уловит. Эта реальность сделала полную оценку жизненного цикла необходимой. Оценки AgentCore, функция Amazon Bedrock AgentCore, являются связующим звеном, обеспечивающим это, наряду с Amazon Bedrock Guardrails (безопасность), Amazon CloudWatch (метрики, тревоги, трассировка), Amazon Simple Storage Service (Amazon S3) и Amazon Redshift (постоянство оценок), Amazon Quick (панели управления) и AWS Lambda (кастомные оцениватели). В этой статье мы делимся тем, как мы справились с самыми сложными операционными задачами в управлении ИИ-агентами на уровне предприятия и как оценки Amazon Bedrock AgentCore стали основой качества агентов. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.