Сравнение форматов моделей LLM: GGUF, GPTQ, AWQ и EXL2

Согласно материалу MarktechPost, существует две ключевые идеи, которые следует разделить: контейнеры и методы квантования. Большая часть путаницы возникает из-за смешения этих двух уровней. Контейнер определяет, как тензоры хранятся на диске, тогда как метод квантования определяет, как веса сжимаются в меньшие биты. К контейнерам относятся safetensors, GGUF и PyTorch pickle (.bin / .pt). Методы квантования включают GPTQ, AWQ, bitsandbytes NF4, а также K-кванты и I-кванты из llama.cpp. Одновременно используются EXL2 и EXL3, которые представляют собой метод и структуру хранения, связанные с одной библиотекой вывода. Существует простое правило для запоминания: память на веса ≈ параметры × биты на вес ÷ 8. Например, для модели с 16 битами: 8B ~ 16 ГБ ~ 4.5 ГБ, 70B ~ 140 ГБ ~ 39 ГБ. Это арифметика, а не бенчмарк от вендора, и она охватывает только веса. KV-кэш и накладные расходы времени выполнения добавляют еще больше. 1. Полная точность: safetensors и PyTorch .bin. Неквантованные модели обычно поставляются с 16-битными весами в файлах pytorch_model.bin или model.safetensors. Более старые файлы .bin / .pt используют Python pickle. Загрузка pickle-файла может выполнить произвольный код, что делает ненадежные контрольные точки риском безопасности. Safetensors, созданные в Hugging Face, устраняют этот риск, так как файл представляет собой небольшой JSON-заголовок и сырые буферы тензоров, без исполняемого кода. Тензоры могут быть загружены по частям без необходимости считывания всего файла. Safetensors теперь включены в проект PyTorch Foundation. Важно отметить, что большинство моделей GPTQ, AWQ, EXL2, EXL3 и MLX также хранятся в файлах .safetensors. Квантование находится в содержимом тензоров и конфигурационном файле, а не в новом контейнере. 2. GGUF (llama.cpp) представляет собой бинарный формат для запуска моделей с GGML и исполнителями на его основе, такими как llama.cpp. Он был создан Георгием Гергановым, который также возглавляет llama.cpp. Формат был введен 21 августа 2023 года как замена более старого формата GGML. Замена GGML была необходима, поскольку старые файлы GGML, GGMF и GGJT не могли указать, к какой архитектуре принадлежит модель. Добавление нового гиперпараметра нарушало совместимость с существующими файлами. GGUF перешел на типизированные метаданные ключ-значение, что позволяет добавлять новые поля без нарушения старых файлов. GGUF имеет пять целей: развертывание в одном файле, расширяемость, совместимость с mmap, легкость загрузки и полная информация внутри файла. В отличие от форматов только с тензорами, GGUF может содержать токенизатор, специальные токены и шаблон чата Jinja вместе с весами. 3. GPTQ, написанный Элиасом Франтаром и другими, был представлен 31 октября 2022 года и опубликован на ICLR 2023. Это метод квантования весов после обучения, который использует приближенную информацию второго порядка для определения округления весов. Он требует небольшого набора данных для калибровки, но не требует повторного обучения. Основные результаты показывают, что он может квантовать модели с 175 миллиардами параметров за примерно 4 часа на GPU, до 3 или 4 бит на вес. 4. AWQ (Квантование весов с учетом активации) возник из группы Сонга Хана в MIT и впервые появился на arXiv 1 июня 2023 года, получив награду MLSys 2024 за лучшую статью. Основная идея заключается в том, что не все веса имеют одинаковую важность. Защита примерно 1% 'значимых' весов значительно снижает ошибку квантования. 5. EXL2 (ExLlamaV2) — это родной формат библиотеки вывода ExLlamaV2, который использует тот же метод оптимизации, что и GPTQ, и поддерживает квантование на 2, 3, 4, 5, 6 и 8 бит. 6. EXL3 (ExLlamaV3) — это формат-преемник, построенный на QTIP от Cornell RelaxML, который использует кодирование с помощью решеток и был опубликован на NeurIPS 2024. 7. bitsandbytes (NF4 / INT8) — это метод квантования во время загрузки, который обычно не загружается заранее квантованным. Вы загружаете 16-битную модель и квантируете ее на лету. 8. MLX (Apple Silicon) — это пакет Python для запуска и дообучения LLM на Apple Silicon с MLX. 9. Другие названия, с которыми вы столкнетесь, включают compressed-tensors / FP8, HQQ и SINQ, которые представляют собой методы квантования. Ключевые выводы: файл формата (GGUF, safetensors) не является тем же самым, что и метод квантования (GPTQ, AWQ). GGUF является стандартом для локального вывода на CPU, Apple Silicon и смешанных CPU+GPU. GPTQ и AWQ являются основными методами для сервиса GPU в vLLM, SGLang и Transformers. EXL2 и EXL3 нацелены на быструю одноразовую выдачу и детализированные битрейты на потребительских GPU. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Тилли Норвуд, AI-актриса, проваливает свой первый пресс-тур SpaceXAI представила Grok Voice Transcribe 2.0 с удвоенной точностью Kyutai выпустила модель Voice of Reason для устного решения математических задач. Nokia открывает доступ к AnyJev, библиотеке для принятия решений без обучения. OpenAI представила GPT-6 Sol и Luna с новыми ценами на API, снижая стоимость на 50%.