Кэширование запросов для ИИ-агентов на Amazon Bedrock

Согласно материалу AWS Machine Learning, каждый раз, когда вы запускаете своего агента, ему необходимо заново прочитать всю свою историю, прежде чем выполнить действие. Однако существует способ сделать так, чтобы он запоминал, не требуя повторной подачи одного и того же контекста. В фильме «День сурка» персонаж Билла Мюррея каждый день переживает один и тот же 2 февраля. Он просыпается под одну и ту же песню на радио, в одном и том же отеле и в одном и том же маленьком городке, снова и снова, по оценкам некоторых киноманов, на протяжении 34 лет. Ничего из того, что он достиг в предыдущий день, не сохраняется, если он не решит это заново. ИИ-агенты живут в подобной версии «Дня сурка». Каждый раз, когда агент делает шаг (вызывает инструмент, читает результат, решает, что делать дальше), ему необходимо отправить модели всю свою историю до настоящего момента для поддержания непрерывности: определения инструментов, инструкции, каждый предыдущий вызов инструмента и каждый результат. Модель предсказывает следующий токен только на основе предоставленного вами ввода. У нее нет внутренней памяти между запросами, поэтому ей необходимо снова прочитать все это. К 20-му ходу сеанса кодирования модель снова читает ходы с 1 по 19, и именно вы оплачиваете каждый из этих токенов снова и снова. Кэширование запросов разрывает этот цикл. Сервис сохраняет ваш ввод (инструкции, инструменты и контент) и повторно использует его в следующем запросе, по более низкой цене. В этой статье я проведу вас через жизнь агента, начиная с его первого хода и до момента, когда он получает новые инструменты и создает помощников. По пути я покажу, как кэширование запросов помогает снизить затраты и поддерживать отзывчивость и согласованность агентов. Перед тем как говорить о кэшировании, полезно взглянуть на то, что содержит первое обращение типичного агента к большой языковой модели (LLM): список инструментов — определения каждой функции, которую агент может вызвать; инструкции — запрос разработчика: правила, персона, политики, примеры; история — все, что произошло в этом сеансе до сих пор: задача, вызовы инструментов модели и результаты инструментов (которые растут с каждым ходом); новый ход — последний результат инструмента или сообщение пользователя (которое может быть разным каждый раз). Когда модель читает запрос, она сначала выполняет запись, называемую предварительной подачей (prefill). Во время предварительной подачи она обрабатывает каждый входной токен и строит свои ключевые и значимые векторы (также известные как ключ-значение или KV), которые формируют рабочее состояние модели. Это происходит до того, как модель запишет свой первый токен. Кэширование запросов сохраняет это состояние, которое содержит системный запрос, инструменты, контент, историю и так далее. Когда позже запрос начинается с тех же входных токенов (то есть с того же текста), сервис кэширования запросов загружает сохраненное состояние вместо того, чтобы вычислять его снова. Затем он обрабатывает только то, что новое в следующей нагрузке к модели. Кэширование запросов может быть неявным, когда Amazon Bedrock выбирает, где заканчивается повторно используемый префикс, или явным, когда ваш код отмечает эту конечную точку с помощью prompt_cache_breakpoint. Вы можете использовать оба подхода вместе, и мы рекомендуем это делать. Первой победой является кэширование статической части запроса: инструментов и инструкций, которые остаются неизменными между запросами. Эти примеры используют ваш существующий клиент Amazon Bedrock, TOOLS и задачу. Замените сокращенную строку INSTRUCTIONS на ваши реальные политики и примеры. Повторно используемый префикс должен достигать 1,024 токенов, чтобы соответствовать требованиям. При кэшировании статического контента используйте явный режим: выберите, где заканчивается сохраненный префикс. Кэширование истории разговоров и результатов инструментов позволяет модели запрашивать инструменты по имени и передавать их аргументы. Ваше приложение должно выполнять их. Функция execute_function — это вспомогательная функция, которую вы создаете для маршрутизации этих запросов к соответствующим Python-функциям и возврата их результатов. Этот цикл использует эту функцию для выполнения каждого запрашиваемого инструмента. Он добавляет вывод модели и все результаты инструментов в список истории, а затем снова отправляет этот список, пока модель не вернет окончательный ответ. При использовании неявного режима Amazon Bedrock может повторно использовать неизмененный префикс и кэшировать добавленный контент через последний результат инструмента. Сохраняйте ранние сообщения и начальные TOOLS неизменными. Важно помнить, что кэширование запросов работает только тогда, когда вы передаете точно тот же текст. Убедитесь, что инструкции агента и списки инструментов сериализованы одинаково каждый раз. Серверы протокола контекста модели (MCP) и другие формы доставки инструментов должны быть индексированы, чтобы они оставались последовательными. Держите все, что меняется, например дату, имя пользователя или идентификатор запроса, после кэшированных инструкций. Таким образом, кэширование запросов позволяет значительно снизить затраты и улучшить производительность ИИ-агентов, что делает их более эффективными и отзывчивыми в процессе работы. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.