2026.07.03 13:51

如果你手里正好有两三台 Mac，exo 可能是目前最值得折腾的本地 AI 项目之一。它做的事情很直接：把多台设备组成一个 AI 集群。设备自动发现，模型根据各节点的内存、算力和网络情况进行切分。单台机器装不下的大模型，可以交给多台机器一起运行，推理过程留在本地，还能通过 OpenAI、Claude 和 Ollama 兼容接口接入现有工具。官方展示过用 4 台高内存 M3 Ultra Mac Studio 运行 Qwen3 235B、DeepSeek 671B 和 Kimi K2 Thinking。更有意思的是，借助 Thunderbolt 5 RDMA，增加节点不只是增加可用内存，还可能提高推理速度。不过别被“闲置手机变 H100”带偏。当前最成熟的还是 Apple Silicon Mac 集群，RDMA 对系统、设备和线缆都有要求；Linux GPU 支持仍在开发。它也不是零成本方案，高内存 Mac 本身并不便宜。但 exo 指出的方向很有意思：未来跑本地大模型，未必只能不断购买更强的单机，也可以把已有设备真正组织起来。本地 AI 正从“攒一台神机”，走向“搭一套自己的算力网络”。

显示更多