Qwen на 35 млрд параметров запустили на iPhone

Новая модель работает локально на смартфоне благодаря архитектуре MoE. Разработчики Edge0 заявляют о потреблении 1–2,5 ГБ памяти — большая часть параметров хранится на SSD, передает Tech-news. Запуск крупной языковой модели на смартфоне больше не выглядит чем-то из области фантастики. Разработчики движка Edge0 продемонстрировали работу Qwen с 35 млрд параметров на iPhone без подключения к облачным серверам. Модель способна писать программный код, генерировать 3D-сцены и собирать простые игры непосредственно на устройстве. По оценкам команды проекта, пиковое потребление памяти составляет от 1 до 2,5 ГБ. Для модели такого масштаба это выглядит необычно низким показателем, однако речь идёт о специальной реализации, а не о стандартном запуске нейросети. Как Edge0 запускает большую модель на маленьком устройстве В основе технологии лежит архитектура Mixture of Experts (MoE). Вместо того чтобы постоянно держать все параметры модели в быстрой памяти, система работает с отдельными экспертами, активируя только необходимые блоки. Остальные параметры могут находиться на SSD. По мере выполнения задачи Edge0 подгружает нужные части модели, а специальный предиктор заранее пытается определить, какие эксперты понадобятся на следующем этапе. Такой подход позволяет сократить объём оперативной памяти, необходимый для инференса. 35 млрд параметров на Mac — до 18 токенов в секунду Настольную версию Edge0 уже можно запускать на Mac. На компьютере с чипом M4 Pro та же 35-миллиардная модель, по данным разработчиков, занимает около 3 ГБ активной памяти и генерирует примерно 15–18 токенов в секунду. Для локального запуска модели такого размера это вполне рабочая скорость. При этом производительность зависит от конкретного устройства, реализации движка и характера нагрузки. SSD вместо гонки за памятью Технология Edge0 показывает, что развитие локального ИИ может идти не только через увеличение объёма RAM и HBM. Если модели не требуется постоянно держать все параметры в быстрой памяти, важную роль начинают играть кэширование, предзагрузка и скорость накопителя. Подобный подход потенциально интересен не только для смартфонов и ноутбуков, но и для серверной инфраструктуры, где стоимость и доступность памяти остаются одним из ограничений при запуске крупных моделей. Пока разработчики Edge0 демонстрируют возможности локального инференса, а не универсальное решение для любых задач. Но сам факт запуска Qwen на 35 млрд параметров непосредственно на iPhone показывает, насколько быстро меняются требования к устройствам для работы с ИИ. Сообщение Qwen на 35 млрд параметров запустили на iPhone появились сначала на Tech news.