标签 分布式推理 下的文章

exo 把几台设备拼成一个 AI 集群，跑单台机器装不下的大模型，设备越多反而越快。 本地跑大模型的老问题是显存不够：一个 70B 级模型在单张卡上根本放不下。exo 的思路是把家里/办公室几台机器联起来，自动发现彼此，把模型切分到各台设备上。它现在以 MLX 作为推理后端，所以主要面向 Apple Silicon；官方还做了 Thunderbolt 5 的 RDMA 支持，宣称跨设备延迟大幅下降。