Ученые улучшили ИИ-агентов, превращая научные статьи в код

По сообщению VentureBeat, исследователи из Университета Калифорнии в Санта-Барбаре и Microsoft разработали новую систему под названием ScholarEvolve, которая позволяет ИИ-агентам оптимизировать свои компоненты, такие как подсказки и управление контекстом, без необходимости переобучения моделей. Эта система автоматически извлекает новую информацию из научных статей и переводит её в обновления кода для агентов. В тестах ScholarEvolve увеличила уровень выполнения задач для модели Qwen3.5-27B с 69,0% до 81,4% на тестовом наборе AppWorld Normal, что позволило сократить разрыв в производительности с GPT-5.4 на 74% без изменения весов модели. Это открывает новые возможности для инженерных команд, позволяя улучшать производительность агентов без переобучения базовых моделей. Существующие оптимизаторы часто полагаются на обратную связь от выполнения задач, что создает замкнутый круг, который быстро достигает предела своей эффективности. Ученые отмечают, что такие методы, как Google WikiSkill и Salesforce DarwinX, ограничены знаниями базовой модели и могут не всегда предлагать эффективные решения для новых проблем. ScholarEvolve решает эту проблему, анализируя ошибки в тренировочных наборах, исследуя научную литературу и внедряя новые техники в модули агентов. Система делит агентский хранилище на пять модулей с четкими интерфейсами, что позволяет избежать конфликтов при внесении изменений. Процесс оптимизации проходит в четыре этапа: аудит ошибок, моделирование тем для разнообразного поиска, создание чертежей и проверка здоровья новых модулей. Например, система улучшила работу с API, добавив проверку синтаксиса для Python-кода и модуль управления историей взаимодействий, что помогло избежать потери информации. Исследователи протестировали ScholarEvolve на двух интерактивных бенчмарках, где она показала значительное улучшение производительности. На AppWorld модель Qwen3.5-27B увеличила уровень выполнения задач на 12,4 процентных пункта, а на Telecom GPT-5.4-mini вырос с 72,7% до 81,9%. Для команд, работающих с ИИ, результаты экспериментов подчеркивают важность комплексного подхода к оптимизации, где взаимодействие различных модулей может привести к более высоким результатам, чем отдельные улучшения. Исследователи подчеркивают, что автоматизация извлечения знаний из литературы может помочь в проактивной адаптации агентов к новым вызовам. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.