Decision-making models do not require language models at every step

{{opener}} В статье рассматривается, как поддерживающий бот принимает решения о том, является ли входящий запрос запросом на возврат. Это всего лишь десять слов классификации, но большинство систем все равно обрабатывают его через полную модель рассуждений, что приводит к задержке и расходам на токены. При масштабировании до нескольких миллионов запросов в месяц стоимость принятия решения может превышать затраты на модель, которая не нуждается в генерации текста. Появление новой категории моделей, способных обрабатывать только решения, стало актуальным в этом контексте. В сентябре стартап TypeSafe AI выпустил Jev, модель, которая не генерирует текст, а просто оценивает состояние и набор вопросов, возвращая выбор, оценку или вероятность с прикрепленной уверенностью. Эта модель быстро завоевала популярность, так как разработчики увидели реальную экономию. Вскоре после этого другие компании, такие как Cloudflare и AWS, также выпустили свои модели, которые способны принимать решения быстрее и дешевле. Например, AWS представил Strands Decider 2B, модель с 2 миллиардами параметров, которая была спроектирована для работы локально менее чем за 150 миллисекунд. OpenAI также выпустила Decisions API, которая, по их словам, возвращает решения в десять раз быстрее, чем использование их общего API. Тем не менее, важно понимать, что не все решения должны обрабатываться специализированными моделями. Некоторые решения требуют рассуждений, в то время как другие могут быть выполнены с помощью более простых моделей. Важно задавать правильные вопросы на каждом этапе принятия решения, чтобы определить, какая модель лучше всего подходит для конкретной задачи. Сравнение показателей скорости и стоимости различных моделей требует осторожности. Например, TypeSafe утверждает, что их модель в 444,6 раз дешевле и в 193,6 раз быстрее, чем работа на основе языковой модели, но независимые исследования показывают, что реальная экономия составляет около 30 раз. Поэтому важно проверять точность моделей на собственных данных, прежде чем доверять им важные задачи. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.