标签 GGUF 下的文章

llama.cpp 是 Georgi Gerganov 创建的 C/C++ 推理引擎，是整个本地大模型生态的底座，定义了被广泛采用的 GGUF 模型格式。 llama.cpp 用极少依赖在 CPU、Apple Metal、CUDA、Vulkan 等后端上跑 LLM 与多模态模型，并内置 OpenAI 兼容的 llama serve。Ollama、LM Studio、Jan、GPT4All 都在底层依赖它。下面讲清它做什么、怎么装、适合谁。