KTransformers：小显存也能跑大 MoE

把 MoE 专家层放 CPU、注意力层留 GPU，让单张小显存卡跑大模型。

本地跑大模型的硬限制是显存：想跑更大的 MoE 模型，要么买两张 4090，要么放弃。KTransformers 走的是另一条路——把 MoE 的专家 FFN 放到 CPU 内存，把注意力等热路径留在 GPU，用算子级优化把两边的数据搬运压到最低。它是清华 KVCache.AI 团队主导的项目，Python 编写，Apache-2.0，19,659 星（以 GitHub 为准）。

核心能力

1. CPU+GPU 异构推理

它的核心思路是“按层分配”：显存留给定 KV Cache、注意力与算子开销大的部分，参数体量最大的 MoE 专家层放系统内存。官方定位是“灵活地体验异构 LLM 推理与微调优化”的框架，意思是这些优化手段可以拆开单独试。实际场景：手上一张 24GB 卡 + 128GB 内存，跑一个总参数量远超显存容量的 MoE 模型，传统方案直接 OOM，它能跑起来。

2. 算子级优化，不是简单卸载

把权重丢到 CPU 谁都会，难点在数据搬运与计算调度。项目提供针对性的算子实现（含对 MoE 与注意力的优化），并把 CPU 端的多核并行与指令集利用做进去。差距体现在 token/s：粗糙卸载方案往往慢到不可用，优化过的异构方案才能到“能对话”的速度。具体数值随模型与硬件变化很大，建议以官方公布的基准与自测为准。

3. 支持主流 MoE 与长上下文

文档站按模型系列给了分门别类的安装与运行指引，覆盖了目前热门的开源 MoE 模型，并针对长上下文场景做了显存管理。做本地知识库问答时，上下文长、召回多，KV Cache 吃显存很快，这一层的优化直接决定能不能开大窗口。

4. 推理与微调两条线

项目不仅做推理，也提供微调方向的优化实验。对研究者来说，这意味着可以在同一套环境里先跑推理验证效果，再做 LoRA 类微调，不用在两个框架间来回导权重。

5. 文档站完备，按硬件给方案

官网文档站把安装、依赖、各模型启动命令分开写，而不是一篇 README 堆到底。这对异构方案尤其重要——CPU 指令集、CUDA 版本、内存容量不同，配置差别很大。建议先看官方文档里与你硬件最接近的那一篇，不要拿别人的命令直接跑。

使用上手

1. 先确认硬件：一张支持 CUDA 的 N 卡 + 足够大的系统内存（MoE 专家层要全部装进内存），内存不够会直接失败。
2. 装 Python 环境（官方建议用 conda 或 venv 隔离），按文档装对应版本的 PyTorch 与 CUDA 依赖。
3. 克隆仓库并安装：git clone https://github.com/kvcache-ai/ktransformers，然后按文档站指引装依赖与编译算子。
4. 下载目标模型的权重（GGUF 或官方指定格式），放在文档要求的位置。
5. 按文档给该模型启动服务或交互式对话，先跑一句短提问确认能出 token。
6. 逐步加大上下文与并发，边测边看显存与内存占用，找到你这台机器能稳定跑的上限。

优点与不足

优点

• 真正解锁小显存跑大 MoE 模型，硬件成本下降明显。
• 算子级优化，不是把权重丢 CPU 了事，速度能到可用区间。
• Apache-2.0，文档站结构清楚，按模型与硬件分开给方案。
• 推理与微调同环境，适合做实验的团队。

不足

• 部署门槛高：CUDA 版本、指令集、内存容量任一项不对就跑不起来。
• 强依赖具体模型与硬件组合，通用性不如 vLLM、llama.cpp。
• 中文社区讨论多但英文资料少，排障靠 issue。
• 速度快慢与模型结构强相关，某些非 MoE 模型优势不明显。

适合谁

• 手上只有一张中端显卡、想跑大 MoE 模型的个人开发者。
• 想低成本评估大模型能力、不想先买卡的企业实验室。
• 做推理优化与异构调度的研究者。
• 需要完全本地部署、数据不出机器的团队。

下载与访问

• 仓库：https://github.com/kvcache-ai/ktransformers
• 文档站：https://kvcache-ai.github.io/ktransformers/

许可证与部署

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。