标签 vLLM 下的文章

把开源大模型变成能扛并发的线上 API，同样的卡服务更多请求。 本地跑模型和线上服务模型是两件不同的事。Ollama、Jan 解决「能跑起来」，vLLM 解决「扛得住」——当 7B 到 70B 的模型要对外提供接口、同时面对几十上百个请求时，显存怎么分、请求怎么排、吞吐怎么提，是另一套工程。vLLM 起源于伯克利 Sky Computing 实验室，核心是 2023 年那篇 PagedAttention 论文，目前由两千多名贡献者维护，是自建推理服务绕不开的一层。