Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить.
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими…
Кратко от AI: Главные тезисы
- Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить
- exo позволяет объединить несколько устройств в один ИИ-кластер
- Модель, которая не помещается в память одного компьютера, можно распределить между несколькими…
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить.
Похожие материалы
Компании используют платформу NVIDIA DSX для решения проблем с энергией
Компании внедряют платформу NVIDIA DSX для решения проблем с энергией и оптимизации инфраструктуры.
NVIDIA расширяет платформу Cosmos для создания мировых моделей
NVIDIA расширила платформу Cosmos новыми инструментами для создания мировых моделей.
Европейские финансовые организации принимают открытые модели для ИИ
Европейские финансовые организации внедряют открытые модели для создания интеллекта.
Каждому пользователю Claude Code обязательно стоит установить /stack.
Каждому пользователю Claude Code обязательно стоит установить /stack. Мод /stack показывает ВСЁ, что установлено и доступно в Claude Code: Скиллы, субагенты, команды, хуки, MCP-серверы, плагины, настройки и стили вывода. Всё сгруппировано по уровням конфигурации: Enterprise,…