BottleCap AI представила ThinkingCap-Qwen3.8-27B с меньшими затратами токенов

MarktechPost рассказывает, что компания BottleCap AI выпустила ThinkingCap-Qwen3.8-27B, вторую модель в серии ThinkingCap. Это доработка модели Qwen3.8-27B от команды Qwen с одной узкой целью: сокращение количества токенов, необходимых для размышлений. В ходе тестирования на 12 бенчмарках модель в среднем использует на 37,2% меньше токенов, чем предшественник. Однако макро-средняя точность снизилась с 86,65% до 85,79%, что составляет снижение на 0,86 процентного пункта. Модель доступна для развертывания и может быть использована вместо Qwen3.8-27B на платформах vLLM или SGLang с различными сборками: FP8, NVFP4, GGUF и MLX. Однако репозиторий закрыт, и для коммерческого использования, превышающего лицензию для малого бизнеса, требуется соглашение с BottleCap. Какую проблему решает ThinkingCap? Модели размышлений часто используют больше токенов, чем необходимо для ответа на вопрос. BottleCap считает, что многие из этих дополнительных токенов не влияют на окончательный ответ. Первая модель в серии применяла эту идею к Qwen3.6-27B. В этот раз задача была сознательно консервативной. BottleCap не пыталась добавить знания или изменить стиль ответов. Способности размышления, следование инструкциям и безопасность должны были остаться неизменными. Исследовательская группа также уделила больше внимания математике, размышлениям, длинным контекстам и агентским бенчмаркам. Результаты бенчмарков при высоком усилии показывают, что все основные показатели стали короче, с сокращениями от 10,7% до 65,5%. Задачи на знание и мультиязычные задачи сокращаются больше всего. Например, MMMLU снизился на 65,5% (с 1,656 до 571 токенов), а MMLU-Pro упал на 57,3%. GPQA-Diamond сократился с 12,772 до 7,267 токенов, что составляет 43,1% уменьшения. IFBench показывает снижение на 46,4% с почти неизменной точностью (79,75% до 79,71%). Долгосрочный поиск контекста также улучшился: точность AA-LCR выросла на 2,25 процентного пункта, с 81,75% до 84,00% при 38,6% меньшем количестве токенов. Команда BottleCap рекомендует использовать высокий уровень усилия для наилучшего баланса между точностью и количеством токенов. Они также отметили, что индивидуальные режимы размышлений получат внимание в будущих выпусках. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.