把 MoE 专家层放 CPU、注意力层留 GPU，让单张小显存卡跑大模型。 本地跑大模型的硬限制是显存：想跑更大的 MoE 模型，要么买两张 4090，要么放弃。KTransformers 走的是另一条路——把 MoE 的专家 FFN 放到 CPU 内存，把注意力等热路径留在 GPU，用算子级优化把两边的数据搬运压到最低。它是清华 KVCache.AI 团队主导的项目，Python 编写，Apache-2.0，19,659 星（以 GitHub 为准）。
标签 本地推理 下的文章
LocalAI 是一个免费、MIT 许可的自托管推理服务器，提供 OpenAI 兼容 API，在自有硬件上跑文本、图像、语音与智能体。 想用 OpenAI 的 API 但不想把数据送进云端？LocalAI 给出答案：一个 OpenAI 兼容的本地推理服务器，把 llama.cpp、vLLM、whisper.cpp、diffusers 等引擎作为可插拔后端，单一实例覆盖文本生成、图像生成、语音转写、文字转语音和向量嵌入。它不需要昂贵 GPU，消费级 CPU 也能跑，数据始终留在...
llama.cpp 是 Georgi Gerganov 创建的 C/C++ 推理引擎，是整个本地大模型生态的底座，定义了被广泛采用的 GGUF 模型格式。 llama.cpp 用极少依赖在 CPU、Apple Metal、CUDA、Vulkan 等后端上跑 LLM 与多模态模型，并内置 OpenAI 兼容的 llama serve。Ollama、LM Studio、Jan、GPT4All 都在底层依赖它。下面讲清它做什么、怎么装、适合谁。