LocalAI：本机跑起 OpenAI 兼容推理栈

LocalAI 是一个免费、MIT 许可的自托管推理服务器，提供 OpenAI 兼容 API，在自有硬件上跑文本、图像、语音与智能体。

想用 OpenAI 的 API 但不想把数据送进云端？LocalAI 给出答案：一个 OpenAI 兼容的本地推理服务器，把 llama.cpp、vLLM、whisper.cpp、diffusers 等引擎作为可插拔后端，单一实例覆盖文本生成、图像生成、语音转写、文字转语音和向量嵌入。它不需要昂贵 GPU，消费级 CPU 也能跑，数据始终留在本地。

核心能力

1. OpenAI 兼容 API：现有 OpenAI 客户端代码可直接指向 LocalAI，无需改写。场景：把本地项目里的 API Base 改成本机地址即完成私有化。
2. 多模态后端：文本、视觉、语音、图像、视频、嵌入、重排、智能体统一在一个栈里。场景：同一服务既做对话又做语音转写和文生图。
3. 按需加载引擎：核心精简，模型需要时再拉取对应后端（llama.cpp/vLLM/MLX/whisper.cpp 等）。场景：从笔记本 CPU 到分布式 GPU 集群弹性扩展。
4. 内置智能体与权限：API Key 鉴权、配额、用户角色，以及内置带 MCP 的智能体。场景：团队部署时开启鉴权与用量可见性。

使用上手

1. 用 Docker 启动（推荐）：

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

2. 装模型：通过 Web UI 或配置文件拉取 GGUF 等模型。
3. 调用：把应用里的 OpenAI base url 改为 http://localhost:8080/v1。
4. 进阶：分布式模式用 PostgreSQL + NATS 横向扩展（需额外组件）。

优点与不足

• 优点：MIT 许可可商用；CPU 可跑；多后端统一入口；社区活跃。
• 不足：每个后端性能不如专用运行时（它是调度器而非引擎）；配置项多，模型 YAML 易累积；分布式需额外组件。

适合谁

• 想要一个端点覆盖异构 AI 栈的自托管者；重视数据与隐私的团队；想在本地复刻 OpenAI 接口做开发的工程师。

下载与访问

• GitHub：https://github.com/mudler/LocalAI
• 官网与文档：https://localai.io/
• 星标（以 GitHub 为准）：约 5 万+（2026-11 查询）

部署对照表：

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。