If you have two or three Macs at home and want to run a large AI model locally, the memory on one computer may not be enough.
If you have two or three Macs at home and want to run a large AI model locally, the memory on one computer may not be enough. exo allows you to combine multiple devices into one AI cluster. A model that does not fit into the memory of one computer can be distributed among several...
- 01.If you have two or three Macs at home and want to run a large AI model locally, the memory on one computer may not be enough
- 02.exo allows you to combine multiple devices into one AI cluster
- 03.A model that does not fit into the memory of one computer can be distributed among several...
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Related Intelligence
All stories →NVIDIA Minerva optimizes GPU performance in AI factories
NVIDIA Minerva optimizes GPU performance in AI factories, eliminating operational gaps.
Five weird details from Anthropic’s IPO filing
Anthropic has finally filed its S-1 prospectus with the SEC, a document designed to give investors a look under the hood of its business, from how much its executives are making and plans for spending its IPO billions to the risks that could derail its ambitions. At more than…
Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.