如果你家里有两三台 Mac,想要在本地运行大型 AI 模型,一台电脑的内存可能不够用。
如果你家里有两三台 Mac,想要在本地运行大型 AI 模型,一台电脑的内存可能不够用。 exo 允许您将多个设备组合成一个 AI 集群。不适合一台计算机内存的模型可以分布在多台计算机中......
- 01.如果你家里有两三台 Mac,想要在本地运行大型 AI 模型,一台电脑的内存可能不够用。 exo 允许您将多个设备组合成一个 AI 集群。不适合一台计算机内存的模型可以分布在多台计算机中......
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Related Intelligence
All stories →Anthropic IPO 文件中的五个奇怪细节
Anthropic 最终向 SEC 提交了 S-1 招股说明书,该文件旨在让投资者了解其业务的幕后情况,包括其高管的收入、IPO 花费数十亿美元的计划,以及可能破坏其雄心壮志的风险。在超过…
Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.