企业官网建设流程全解析

4台Mac组AI集群跑235B大模型：exo本地分布式推理实操

【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo

一台 M3 Ultra 装不下 235B 的模型，买 GPU 又太贵，闲置的 Mac 只能吃灰。exo 就是把这些 Mac 组成 AI 集群、跑大模型的工具，面向想本地部署大模型但不买 GPU 的开发者。

一句话说清 exo 是什么

exo 把多台 Mac 连成一个 AI 集群，跑单台装不下的大模型。三个数字：张量并行 4 台设备最高 3.2 倍加速，RDMA over Thunderbolt 把设备间延迟降 99%，4 台 M3 Ultra 跑 Qwen3-235B 达 31.9 t/s。

原理速览：像餐厅传菜员切订单

自动并行这件事，可以想成餐厅。客人点了个巨型套餐（大模型），单个档口（单台 Mac）做不完。传菜员（exo）看一眼每个档口的锅有多大、灶台多热，再决定哪几道子菜交给哪个档口，顺便安排好传菜路线。哪台设备负责哪部分权重、链路走哪条，都由它实时算。设备之间也不用你配：跑着 exo 的 Mac 会自动发现局域网里的同类，插上 TB 线就能组队。

实测数据怎么看

基准硬件：4 台 M3 Ultra Mac Studio，各 512GB 内存，TB5 线全互联，RDMA 已启用。生成速度数字来自 exo RDMA 方案。

Kimi K2 Thinking 1T（A32B，4-bit）单台 512GB 装不下。4 节点 exo RDMA 跑到28.3 t/s，对照组 llama.cpp 走 TCP 只有 16.4 t/s。

一个值得注意的对照：同样 4 台设备，llama.cpp 走 TCP 是 15.2 t/s，exo 走 RDMA 是 31.9 t/s，快 56%。瓶颈不在算力，在链路。

三步跑起来

前置条件：uv、node（Linux 需 18+）、rust（nightly）；macOS 另需 Xcode。

• 装依赖：git clone https://gitcode.com/GitHub_Trending/exo8/exo，然后cd exo/dashboard && npm install && npm run build。dashboard 和 Python 运行时都靠这一步就位。
• 启动服务：uv run exo。每台 Mac 各跑一遍，节点自动互相发现，不用手动加 IP。
• 打开界面验证：浏览器访问http://localhost:52415/，看到拓扑图里节点全亮、能发起聊天，就算成了。

值得调的两个配置

RDMA 开关。什么时候碰它：macOS 26.2 以上、TB5 机型（M4 Max、M3 Ultra），且机器间要用 TB5 线全互联，不满足就跳过。改哪里：关机进恢复模式，终端执行rdma_ctl enable，重启，exo 接管剩下的。改完的变化：同样 4 台跑 Qwen3-235B，TCP 方案 15.2 t/s，开 RDMA 后 31.9 t/s，设备间延迟降 99%。

模型下载目录。几百 GB 权重塞不进 Mac 内置盘。什么时候碰它：内置盘空间不够，插一块外置 SSD 或挂 NFS。改哪里：EXO_MODELS_DIRS=/Volumes/ExternalSSD/exo-models uv run exo，它按顺序找第一个空间够的目录写入。改完的变化：下载和缓存全落到外盘，内置盘只留系统和代码。

适合谁，不适合谁

适合跑 200B 以上模型的人，以及手里有两台以上 Apple Silicon 设备、想把闲置算力榨出来的人。不适合只需要单机推理的人，装 Ollama 或 LM Studio 就够了，组集群纯属多余。Linux 用户目前只跑 CPU，GPU 支持还在开发中，别抱 GPU 集群的期待。

收一句

开头那个结是"一台装不下、买 GPU 太贵、闲置 Mac 浪费"。exo 给的路子是后一条：两台 Mac 插根 TB 线，各跑一遍uv run exo，看它们自动发现对方。比读十篇架构文档直观。更多 API 细节可以看仓库里的 docs/api.md 和 src/exo/master/api.py。

【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo