Jan：完全离线的本地 AI 桌面客户端

下载即用的本地 ChatGPT 替代，跑在自己电脑上，还顺带开一个 OpenAI 兼容接口。

本地跑模型的工具已经不少：Ollama 偏命令行与服务端，LM Studio 打磨精细但不开源。Jan 的位置在两者之间：一个完全开源的桌面应用，内置 llama.cpp 引擎，从 Hugging Face 拉模型、开箱对话，同时在本机 127.0.0.1:1337 暴露一个 OpenAI 兼容 API。这意味着它不只是个聊天窗口，而是把整台电脑变成一个私有模型网关：白天用界面聊，晚上脚本往里发请求。项目由 Menlo Research 维护，2026 年 10 月 28 日发布 v0.8.8。

本地 OpenAI 兼容接口，是它最被低估的能力

启动后本地有一个标准 OpenAI 格式的服务器，默认 http://127.0.0.1:1337/v1，还带 /v1/models 可以列出已下载模型。任何支持自定义 base URL 的工具都能接过来：编辑器插件、翻译工具、自动化脚本、命令行客户端。实际用法很直接：把正在调的 AI 应用 base URL 改成本地地址，先验证提示词和流程，确认没问题再切回云端模型，既省调用费也不泄露测试数据。

内置 llama.cpp，引擎跟着上游走

推理引擎直接编译进应用，v0.8.8 同步到了 llama.cpp 0.7.0，新量化格式与模型架构的兼容性跟随上游。引擎变体覆盖 CPU、Vulkan、Metal、CUDA 12/13、ROCm，官方安装包默认自动检测。好处是你不用自己折腾编译参数；代价是想要最新引擎特性得等官方发版。

Tauri 架构，体积与内存比 Electron 克制

界面用系统自带 WebView 渲染，后端跑在 Rust 运行时，安装包和常驻内存都比 Electron 套壳小一圈。Windows 的 exe 大约五百多 MB（不含模型），macOS 包一百多 MB。日常挂着不占资源，这对「常驻后台当模型网关」的用法很关键。

本地与云端可以在同一个会话里切

除了本地模型，它也能接 OpenAI、Anthropic、Mistral、Groq、MiniMax 等云端供应商，同一个界面里统一管理。实用场景是分流：敏感问题走本地，需要强推理的问题切云端，不用在两个应用间拷贝粘贴。要注意「离线」只适用于本地模型，一旦路由到云端，内容就不在本机了。

使用上手：五步跑通

1. 安装。官网或 GitHub Releases 下载对应平台包；Windows 也可从微软商店，Linux 可 flatpak install flathub ai.jan.Jan。
2. 拉模型。左侧 Hub 搜模型，按内存选尺寸：官方给出的参考是 8GB 内存跑 3B 左右，16GB 跑 7B，32GB 跑 13B，量化版更宽松。
3. 开本地服务。设置 → Local API Server，选一个已下载的模型作为默认，点 Start Server，确认状态为运行中。
4. 验证接口。用 curl 请求 /v1/models，能返回模型列表即成功；若设了 API Key，记得带 Authorization: Bearer 头。
5. 接外部工具。把常用客户端或脚本的 base URL 改成 http://127.0.0.1:1337/v1，并在 Trusted Hosts 里放行前端来源。

优点与不足

优点：Apache-2.0，客户端本身开源，可审计可改；跨 Windows、macOS、Linux 全平台，安装渠道齐（微软商店、Flathub、deb、AppImage）；内置本地 API 是差异化能力；MCP 集成让离线模型也能调工具；v0.8.8 补了浏览器来源校验，默认拒绝未知网页访问本地端口。

不足：仍是 0.8.x，Cowork、MLX 等功能标着 preview；官方明确说了 CLI 部分参数在 router 模式下不生效，实际推理设置以后台界面为准；两个默认端口容易搞混（应用内 API 是 1337，jan serve 是 6767）；没有官方 Docker 镜像，想上服务器得自己包。模型质量也受硬件限制，小机器只能跑量化小模型，长上下文和复杂推理仍不如云端。

适合谁

• 对隐私敏感的人：案卷、病历、合同这类内容不适合出网，本地跑最稳。
• 需要本地模型端点的开发者：一份代码先跑本地再切云端，调试成本低。
• 已经在用 Ollama 但想要图形界面的人：两者可以共存，Ollama 跑服务、Jan 当桌面端。

下载与访问

• 官网：https://jan.ai
• 文档：https://jan.ai/docs
• GitHub：https://github.com/janhq/jan

许可证与部署

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。