标签 推理服务 下的文章

SGLang 是一个高吞吐的推理服务框架，靠 RadixAttention 做前缀缓存，适合把开源模型变成对外 API。 自己部署模型，难点不在“能跑起来”，而在“多人并发时不卡”。vLLM 是一个选择，SGLang 是另一个：它把前缀共享、结构化输出、多模态推理都做进了运行时。如果你的场景里大量请求有相同的系统提示词或相同的文档开头，它的缓存命中能把吞吐拉得很高。