exo：把几台设备拼成集群

exo 把几台设备拼成一个 AI 集群，跑单台机器装不下的大模型，设备越多反而越快。

本地跑大模型的老问题是显存不够：一个 70B 级模型在单张卡上根本放不下。exo 的思路是把家里/办公室几台机器联起来，自动发现彼此，把模型切分到各台设备上。它现在以 MLX 作为推理后端，所以主要面向 Apple Silicon；官方还做了 Thunderbolt 5 的 RDMA 支持，宣称跨设备延迟大幅下降。

基本信息

核心能力

自动发现设备。 同一网络里跑 exo 的机器会自动找到彼此，不需要你手写 IP 列表或配集群。新加一台机器，启动就入群。

拓扑感知的自动切分。 它会看实时设备拓扑与链路带宽/延迟，再决定模型怎么分层放。不是简单平均切，而是根据实际瓶颈分。

张量并行。 除了按层切，也支持张量并行，官方给出的数据是两台设备最多约 1.8 倍、四台约 3.2 倍加速。

多套 API 兼容。 同时兼容 OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama 四套接口。你现有的客户端与脚本基本不用改就能接。

自带 Dashboard。 内置一个管理面板，看集群状态、直接聊天。排查“哪台机器没入群”时比看日志快。

使用上手

1. 先确认设备：目前主力是 Apple Silicon（MLX 后端），其他平台的支持程度以 README 为准。
2. 把所有设备接到同一个局域网，尽量用有线或 Thunderbolt 互联，Wi-Fi 下带宽会成为瓶颈。
3. 按 README 安装（源码或包方式以仓库当前说明为准），每台机器都装。
4. 每台设备上启动 exo，打开 Dashboard 确认它们互相发现。
5. 选一个单机放不下的模型试加载，看 Dashboard 里的分层结果。
6. 用 OpenAI 兼容端点接到你常用的客户端，测一下首 token 延迟。
7. 稳定后再把常用脚本的 base_url 改过来，别一上来就全量切。

优点与不足

优点是思路实在：用多台普通设备跑大模型，比买一张天价卡便宜；自动发现与自动切分省了大量运维；API 兼容性好，迁移成本低。不足是强依赖网络质量，Wi-Fi 下体验会崩；目前以 Apple Silicon 为主，Windows/Linux 的 NVIDIA 机器支持不如它宣传的那么普适（以 README 为准）；模型加载与切分耗时较长，不适合频繁换模型；项目迭代快，文档与代码偶尔不同步。

适合谁

适合手上有几台 Mac（尤其是大内存的 Mac Studio / MacBook Pro）的个人与小团队；适合想跑本地大模型但不想买服务器的人；适合折腾分布式推理的技术爱好者。不适合只有一台设备、或需要生产级 SLA 的场景。

下载与访问

仓库：https://github.com/exo-explore/exo
安装与用法：以仓库 README 为准

许可证与部署

跨设备推理对网络与内存要求高，建议先用小模型验证链路再上大模型。

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。