llama.cpp：本地推理的 C++ 引擎

llama.cpp 是 Georgi Gerganov 创建的 C/C++ 推理引擎，是整个本地大模型生态的底座，定义了被广泛采用的 GGUF 模型格式。

llama.cpp 用极少依赖在 CPU、Apple Metal、CUDA、Vulkan 等后端上跑 LLM 与多模态模型，并内置 OpenAI 兼容的 llama serve。Ollama、LM Studio、Jan、GPT4All 都在底层依赖它。下面讲清它做什么、怎么装、适合谁。

工具信息

核心能力

最低开销的本地推理。 纯 C/C++、构建于 ggml 张量库，无运行时依赖，直接编译即可跑。场景：想在产品里内嵌本地推理而非套现成工具时，llama.cpp 是首选集成层。

GGUF 格式与量化。 它定义了 GGUF 权重格式，支持 1.5-bit 到 8-bit 量化，让大模型能塞进有限显存。场景：在消费级显卡上跑 7B–13B 模型，用 4-bit 量化把体积压到可用范围。

多硬件后端。 覆盖 CUDA、Metal、Vulkan、ROCm/HIP、SYCL、OpenCL、WebGPU 及 CPU（AVX/AVX2/AVX512）。场景：N 卡用 CUDA、Mac 用 Metal、A 卡用 Vulkan，同一份权重各平台加速。

OpenAI 兼容服务。 llama serve 启动带 Web UI 的 HTTP 服务，API 对齐 OpenAI。场景：现有 OpenAI 代码只改 base URL 就能指向本地模型，零重构切换。

混合 CPU+GPU 卸载。 模型大于显存时自动把部分层留在 CPU，仍能跑起来。场景：显存不够时靠统一内存/系统 RAM 兜底，跑通比放弃强。

使用上手

1. 安装：macOS 用 brew install llama.cpp；或 curl -LsSf https://llama.app/install.sh | sh；Windows 用 winget install llama.cpp。
2. 跑模型：用 -hf 直接从 Hugging Face 拉，例如 llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF；本地文件用 -m。
3. 服务化：运行 llama serve 启动 OpenAI 兼容 API 与内置 Web UI，供其它工具调用。
4. 调参数：按需设置上下文长度、量化等级、GPU 设备与采样参数；默认会按可用显存自动适配。
5. 集成：把代码里的 OpenAI base URL 指向本地 llama serve 地址，即可本地化。

优点与不足

• 优点：免费开源（MIT）、依赖极少、控制力最强；后端覆盖广；是本地生态事实标准。
• 不足：无图形安装器，靠命令行/Web UI/语言绑定；README 不提供端口/鉴权/配置指导，需看 server 文档；上手参数较多。

适合谁

想在产品中内嵌本地推理的开发者；追求最低延迟与最大控制力的工程师；构建本地 AI 工具链的人（Ollama 等产品都基于它）。

下载与访问

• GitHub：https://github.com/ggml-org/llama.cpp
• 官网：https://llama.cpp
• 安装文档：https://github.com/ggml-org/llama.cpp#readme

许可证与部署

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。