Стэнфорд и Nvidia представили CLM-8B для ускорения принятия решений

VentureBeat сообщает, что исследователи из Стэнфорда и Nvidia представили новые Контрастные Языковые Модели (CLM), в частности, модель CLM-8B, которая предназначена для оптимизации принятия решений агентами. Вместо генерации последовательностей токенов, CLM-8B создает представления текущего состояния и доступных действий, выбирая действие, наиболее соответствующее состоянию. Это особенно полезно в приложениях, где агенты часто принимают одинаковые решения в рамках рабочего процесса. Модель CLM-8B демонстрирует значительное ускорение, показывая в тестах скорость до 9 раз выше по сравнению с моделью Jev от TypeSafe и сопоставимую с ней успешность в двух игровых задачах. Однако в некоторых тестах CLM-8B показала меньшую точность: 95,2% по сравнению с 99,2% у Jev на бенчмарке BFCL v4 по вызову инструментов. CLM использует контрастный метод обучения, называемый InfoNCE, который учит модель сопоставлять правильные пары состояние-действие. Модель обучается в три этапа, начиная с 60 миллионов пар вопрос-ответ, затем добавляются 30 миллионов синтетических «сложных негативов» и в заключение - дообучение на миллионе траекторий агентов. Выпущенная модель CLM-8B использует замороженную основу Qwen3-8B с отдельными проекционными головками для состояний и действий, что позволяет оптимизировать развертывание. Если приложение повторно выбирает из одних и тех же действий, CLM может закодировать их один раз и кэшировать представления. Это особенно полезно для задач, таких как маршрутизация инструментов, триаж заявок и выбор между несколькими предложенными выводами. Проектный руководитель Джэки Квок из Стэнфорда отметил, что контрастная цель обучения также имеет преимущества для задач принятия решений в специфических областях. Он подчеркнул, что контрастный подход может быть особенно эффективным по сравнению со стандартным супервизированным дообучением, используя потери кросс-энтропии. Модель CLM-8B уже доступна для тестирования, включая открытый код и инструменты для дообучения, а также API, совместимый с TypeSafe. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.