Үйде екі немесе үш Mac компьютеріңіз болса және үлкен AI үлгісін жергілікті түрде іске қосқыңыз келсе, бір компьютердегі жад жеткіліксіз болуы мүмкін.
Үйде екі немесе үш Mac компьютеріңіз болса және үлкен AI үлгісін жергілікті түрде іске қосқыңыз келсе, бір компьютердегі жад жеткіліксіз болуы мүмкін. exo бірнеше құрылғыларды бір AI кластеріне біріктіруге мүмкіндік береді. Бір компьютердің жадына сыймайтын модель бірнеше... арасында таратылуы мүмкін.
- 01.Үйде екі немесе үш Mac компьютеріңіз болса және үлкен AI үлгісін жергілікті түрде іске қосқыңыз келсе, бір компьютердегі жад жеткіліксіз болуы мүмкін
- 02.exo бірнеше құрылғыларды бір AI кластеріне біріктіруге мүмкіндік береді
- 03.Бір компьютердің жадына сыймайтын модель бірнеше..
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Байланысты материалдар
Барлығы →NVIDIA Minerva AI зауыттарында GPU өнімділігін оңтайландырады
NVIDIA Minerva AI зауыттарында GPU өнімділігін оңтайландырып, операциялық олқылықтарды жояды.
Anthropic компаниясының IPO өтінімінен бес оғаш мәліметтер
Anthropic, сайып келгенде, SEC-ке өзінің S-1 проспектісін тапсырды, бұл құжат инвесторларға өз бизнесінің астына, оның басшылары қанша ақша жасап жатқанын және IPO-ға миллиардтағанын жұмсауды жоспарлап отырғанынан бастап, амбициясын бұзатын тәуекелдерге дейін көрсетуге арналған құжат. астам…
Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.