Liquid AI представила LFM2.5-VL-3B-DSpark с ускоренным декодированием

MarktechPost рассказывает, что компания Liquid AI анонсировала LFM2.5-VL-3B-DSpark, экспериментальную модель с использованием спекулятивного декодирования для своей модели «язык-зрение» LFM2.5-VL-3B. Эта модель добавляет около 280 миллионов параметров и ускоряет декодирование без изменения выходных данных модели. Команда Liquid AI сообщает о скорости декодирования до 3,13 раза быстрее на Apple silicon и до 2,66 раза на NVIDIA H100. Модель доступна для использования, так как веса уже размещены на платформе Hugging Face в форматах Safetensors и GGUF, с поддержкой в SGLang, MLX-VLM и llama.cpp в день выхода. Команда Liquid AI отмечает, что релиз является экспериментальным и выпускается под лицензией LFM Open License v1.0, которая позволяет бесплатное коммерческое использование только для компаний с годовым доходом менее 10 миллионов долларов. Спекулятивное декодирование вносит изменения в стандартный процесс генерации токенов. Обычная модель генерирует один токен за проход, тогда как спекулятивное декодирование добавляет небольшой драфтер, который предлагает несколько токенов заранее. Основная модель затем проверяет весь блок за один проход и сохраняет согласованные токены. DSpark следует рецепту драфтеров текстовой модели Liquid AI, описанному в документе DSpark. Драфтер считывает скрытые состояния целевой модели с нескольких слоев и предсказывает следующие токены. Архитектура и обучение драфтера представляют собой упрощённую модель, основанную только на внимании. В процессе обучения использовались данные с контролируемым тонким настройкой, охватывающие общие задачи «язык-зрение» на протяжении 10 эпох. Все эксперименты и обучение проводились исключительно на оборудовании AMD. Оценка производительности проводилась с использованием бенчмарка MMSpec по 6 типам задач: общий VQA, текстовый VQA, создание описаний изображений, VQA по диаграммам, сложное рассуждение и многоповоротный разговор. Все запуски использовали размер пакета 1, температуру 0 и 16-битные веса для визуального кодировщика и основной модели. Данные собирались на Pipette, публичной инфраструктуре бенчмаркинга Liquid AI. Результаты показывают, что скорость декодирования увеличилась до 3,13 раза на M5 Max, 2,66 раза на H100. Выходные данные идентичны при жадном декодировании; распределение сохраняется при выборке. Однако предварительное заполнение и кодирование изображения ограничивают приросты на конечном уровне, особенно на устройствах с меньшей вычислительной мощностью. Liquid AI объясняет это законом Амдаля: общий прирост скорости ограничен частью, которая не ускоряется. Для запуска SGLang требуется версия 0.5.19 или новее. Запустите LiquidAI/LFM2.5-VL-3B с параметром --speculative-algorithm DSPARK и укажите путь к драфтеру. На Apple silicon MLX-VLM версии 0.7.2 или новее принимает драфтер через --draft-model. DSpark в MLX-VLM в настоящее время поддерживает только жадную выборку, поэтому установите температуру на 0. Интеграционная работа доступна в публичных запросах на GitHub. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.