Фреймворк адаптивного агентного интеллекта использует Strands Agents

AWS Machine Learning рассказывает, что организации, создающие AI-агентов, сталкиваются с общей проблемой: каждый запрос, будь то рутинная проверка статуса или сложный анализ, обычно направляется на одну большую, дорогостоящую модель. Такой универсальный подход может увеличить затраты на API, вызвать непредсказуемую задержку и исключить возможность работы в оффлайне. Даже рутинные запросы, которые можно было бы решить локально, требуют полного сетевого обращения к облачной языковой модели (LLM). Фреймворк адаптивного агентного интеллекта (AAIF), построенный с использованием Strands Agents, предлагает другой подход. Вместо того чтобы направлять все запросы на одну большую модель, AAIF использует небольшие языковые модели (SLM) для обработки рутинных задач локально. Более сложные запросы направляются к облачным моделям через Amazon Bedrock. Этот подход основывается на исследовательской позиции Белчака и др. в NVIDIA, которые утверждают, что небольшие языковые модели «достаточно мощные, изначально более подходящие и обязательно более экономичные для многих вызовов в агентных системах». Построенный на основе Strands Agents, этот фреймворк демонстрирует, как интеллектуальная оркестрация моделей может помочь сократить затраты, сохраняя низкую задержку для локальных операций. В этой статье мы подробно рассмотрим ключевые компоненты AAIF с использованием Strands Agents, локальных SLM через Ollama и облачных моделей через Amazon Bedrock, используя сценарий мониторинга Интернета вещей (IoT) в качестве примера реализации. AAIF организует AI-обработку на три уровня, каждый из которых оптимизирован для различных типов задач. Умная оркестрация использует легковесную SLM (llama3.2:1b) в качестве слоя принятия решений. Этот оркестратор классифицирует входящие запросы и направляет их в соответствующий уровень обработки без жестко закодированных правил. Локальная обработка выполняет рутинные задачи, такие как получение телеметрии устройств и анализ изображений, используя SLM, работающие на локальном оборудовании через Ollama. Эти задачи выполняются с низкой задержкой и без зависимости от облака. Облачная обработка занимается сложным анализом шаблонов и стратегическими рекомендациями через передовые модели в Amazon Bedrock. Эти запросы требуют более широкого контекста и многоступенчатого рассуждения, которое SLM не может надежно предоставить. Фреймворк адаптируется к вашим ограничениям развертывания, а не требует от вас перестройки вашей инфраструктуры. Эта архитектура может работать на крайних устройствах, таких как Raspberry Pi с 8 ГБ памяти, в полных облачных развертываниях, где все выводы направляются на Amazon Bedrock, или в гибридных конфигурациях, которые объединяют локальную скорость с облачным рассуждением. Гибкость обеспечивается разделением логики маршрутизации (SLM-оркестратор) от инструментов обработки, которые можно заменять или перенастраивать независимо в зависимости от доступного оборудования и сетевой связности. Мы продемонстрировали, как построить экономически эффективные AI-агенты, используя адаптивный фреймворк агентного интеллекта с Strands Agents. Направляя рутинные запросы к локальным SLM и резервируя облачные модели на Amazon Bedrock для сложного анализа, AAIF может помочь сократить затраты на API, сохраняя низкую задержку для рутинных операций. Прежде чем использовать эту модель в производстве, добавьте контролируемые механизмы AI для облачного вывода, так как эти запросы содержат результаты инструментов, извлеченные данные и пользовательский ввод. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.