exo 把几台设备拼成一个 AI 集群，跑单台机器装不下的大模型，设备越多反而越快。 本地跑大模型的老问题是显存不够：一个 70B 级模型在单张卡上根本放不下。exo 的思路是把家里/办公室几台机器联起来，自动发现彼此，把模型切分到各台设备上。它现在以 MLX 作为推理后端，所以主要面向 Apple Silicon；官方还做了 Thunderbolt 5 的 RDMA 支持，宣称跨设备延迟大幅下降。
标签 本地大模型 下的文章
一句话定位：本地跑大模型的桌面工作台，也能当 OpenAI 兼容服务用。 如果你搜到的是 text-generation-webui，那就是它——项目已经改名为 TextGen，仓库地址变成 oobabooga/textgen，定位也从“网页 UI”变成了“桌面应用 + API”。它是本地推理生态里插件最丰富的一个前端：同一套界面里可以切 llama.cpp、ExLlamaV3、Transformers、TensorRT-LLM 四种加载器，能看图、能读 PDF、能练 LoR...
下载即用的本地 ChatGPT 替代，跑在自己电脑上，还顺带开一个 OpenAI 兼容接口。 本地跑模型的工具已经不少：Ollama 偏命令行与服务端，LM Studio 打磨精细但不开源。Jan 的位置在两者之间：一个完全开源的桌面应用，内置 llama.cpp 引擎，从 Hugging Face 拉模型、开箱对话，同时在本机 127.0.0.1:1337 暴露一个 OpenAI 兼容 API。这意味着它不只是个聊天窗口，而是把整台电脑变成一个私有模型网关：白天用界面聊，晚...
Ollama 是一个用 Go 写的开源本地大模型运行器，一行命令就能把 Llama、Qwen、DeepSeek、Gemma 等开放权重模型跑在你自己的机器上。 Ollama 把 llama.cpp 推理引擎包在统一的 CLI 和 REST API 之后，让你免编译即可本地跑模型，也能通过 ollama launch 把模型接进 Claude Code、Codex 等 coding agent。下面讲清它做什么、怎么装、适合谁。
一句话定位：可完全离线自托管的 AI 聊天门户，接 Ollama 与各类开放 API，带用户与 RAG。 Open WebUI 是当下最常被架在 Ollama 前面的 ChatGPT 式前端：一个 Docker 容器或 pip 包，就能把本地大模型变成带账号、聊天记录、文档检索、联网搜索、图像生成和插件系统的私有界面。它和单纯调 API 的裸客户端不同，补齐了多用户、权限、历史搜索这些「真正能给别人用」才需要的拼图。项目以 Python 后端 + Svelte 前端构建，发布...