标签 KTransformers 下的文章

把 MoE 专家层放 CPU、注意力层留 GPU，让单张小显存卡跑大模型。 本地跑大模型的硬限制是显存：想跑更大的 MoE 模型，要么买两张 4090，要么放弃。KTransformers 走的是另一条路——把 MoE 的专家 FFN 放到 CPU 内存，把注意力等热路径留在 GPU，用算子级优化把两边的数据搬运压到最低。它是清华 KVCache.AI 团队主导的项目，Python 编写，Apache-2.0，19,659 星（以 GitHub 为准）。