Python private-gpt 本地模型驱动的开源私有 AI 应用底座

想用大模型做 RAG、智能体或文本处理，又不想把公司文档和对话传到第三方云，合规上过不去。自己从零搭一套私有后端，又要重写消息 API、检索、工具调用等一堆基础件。
PrivateGPT 提供了一套开源的 API 层，把本地/私有化部署的模型变成可生产的 AI 应用底座。它对接任意 OpenAI 兼容推理服务（Ollama、llama.cpp、vLLM 等），内置 RAG、技能、工具、MCP、Text-to-SQL 等能力。

项目基本信息

一、项目介绍

private-gpt（Complete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.），本地模型驱动的开源私有 AI 应用底座。它把相关能力封装成开箱即用的形态，让开发者无需从零搭建即可直接落地，下文从优势、场景到安装使用逐一展开。

二、核心优势

• 不自带模型，连接任意 OpenAI 兼容推理服务（Ollama/vLLM 等）
• 内置 RAG（带引用）、工具、MCP 连接器与 Text-to-SQL
• 提供类 Claude API 的标准消息接口，便于迁移
• 自带 workbench UI，可本地测试与演示

三、适用场景

• 对数据隐私有强要求的企业内部 AI 应用
• 在自有算力上跑 RAG、智能体与数据库问答
• 想脱离云 API 自托管 AI 后端的团队

四、安装教程

macOS 可用 Homebrew 安装：

brew tap zylon-ai/tap
brew install private-gpt

Linux 推荐用 uv：

curl -LsSf https://astral.sh/uv/install.sh | sh
uv tool install --python 3.11   --find-links https://wheels.privategpt.dev/packages/   "private-gpt[core]"

常见报错：uv: command not found。先按上面的 curl 命令装好 uv；Windows 上可用 PowerShell 对应的安装脚本后再执行 uv tool install。

五、使用示例

启动服务后即可通过标准接口调用，也可打开内置 UI：

private-gpt serve

打开 http://localhost:8000/ui 即可在浏览器里对话与上传文件做检索。

输入：在 UI 或 API 中提问『总结这份合同的关键条款』并上传 PDF。
输出：PrivateGPT 走本地检索增强后返回带引用的答案，全程数据不出私有环境。

六、常见问题

问：它自己会跑模型吗？

答：不会。它只做 API 层，真正的推理由你配置的 Ollama/vLLM 等服务提供。

问：和直接用 Ollama 有什么不同？

答：Ollama 偏模型服务，PrivateGPT 在其上补齐了 RAG、工具、MCP 等应用层能力。

七、总结

PrivateGPT 把私有化模型的『最后一公里』——API、RAG、工具——统一封装好，是做合规本地 AI 应用的成熟底座。