9.4 万星的推理引擎把国产芯片也收进来：vLLM 一个接口跑通 200 多种模型

本文基于 GitHub 项目 vllm-project/vllm 的 README 整理。

摘要：vLLM 在 Trending 上再添 441 星，star 总数逼近 9.5 万。它真正稀缺的不是吞吐数字，而是把 200 多种模型架构和十余种芯片后端塞进了同一个 OpenAI 兼容接口。

---

大模型推理这件事，三年前比的是谁的吞吐高，现在比的是谁能少改代码。vLLM 恰好踩在这个转折点上。

这个项目最初诞生于 UC Berkeley 的 Sky Computing Lab，如今由来自数十家学术机构和企业、超过 2000 名贡献者共同维护，已经是最活跃的开源 AI 项目之一。截至今日，它在 GitHub 上拿到 94,908 颗星，单日新增 441 星，仍然稳定出现在 Trending 榜单里。

它到底解决了什么问题

自建推理服务的人大多踩过同一个坑：模型换一个架构，服务端代码就得跟着改；显卡换一个品牌，部署脚本又得重写。vLLM 的做法是把这两层都抽象掉。

核心是 PagedAttention。它把注意力的 key/value 缓存按页管理，像操作系统管理内存那样按需分配，从而避免 KV cache 的碎片和浪费。围绕这一机制，vLLM 叠加了连续批处理（continuous batching）、分块预填充（chunked prefill）和前缀缓存（prefix caching）——三者共同作用，才让「请求源源不断进来、GPU 不空转」成为常态。

在算子层面，它针对不同精度分别做了优化：注意力侧覆盖 FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA 和 Triton；GEMM 与 MoE 侧则用 CUTLASS、TRTLLM-GEN、CuTeDSL 打磨。推测解码支持 n-gram、suffix、EAGLE、DFlash 等多种方案，此外还能借助 torch.compile 自动生成 kernel 并做图级变换。对超长上下文或超大模型，vLLM 提供 disaggregated prefill / decode / encode，把预填充和解码拆到不同资源池上跑。

模型和硬件的覆盖面才是它的护城河

README 里列出的支持范围，是这篇文章最值得看的部分。

模型侧，vLLM 无缝支持 Hugging Face 上 200 多种模型架构：decoder-only 的 Llama、Qwen、Gemma；MoE 结构的 Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS；混合注意力与状态空间模型如 Mamba、Qwen3.5；多模态的 LLaVA、Qwen-VL、Pixtral；以及 E5-Mistral、GTE、ColBERT 这类 embedding 与检索模型，乃至 Qwen-Math 这类 reward / 分类模型。

硬件侧，除了 NVIDIA、AMD、Intel 的 GPU 和 x86/ARM/PowerPC 的 CPU，它还能通过各类硬件插件跑在 Google TPU、Intel Gaudi、IBM Spyre、Huawei Ascend、Rebellions NPU、Apple Silicon、MetaX GPU 上。

对一个要把推理服务长期跑下去的团队来说，「模型架构 + 芯片后端」的组合矩阵就是迁移成本本身。vLLM 把这个矩阵做宽，等于把「换模型」和「换卡」从重构级的工程降级成配置级的改动。

量化、接口与上手

量化支持几乎是全谱系：FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO。

接口层面，它提供 OpenAI 兼容的 API server，另外还支持 Anthropic Messages API 和 gRPC——这一点对已经在用 Claude 系客户端、或需要强类型 RPC 的内部系统很关键。流式输出、结构化输出（xgrammar / guidance）、tool calling 与 reasoning parser 都在内置能力里，多 LoRA 对 dense 层和 MoE 层都做了高效支持。

安装只要两步：

uv pip install vllm
vllm download-kernels  # 预编译 kernel，加快启动

官方推荐用 uv；需要改源码做开发的，也可以从源码构建 wheel。

谁该关注

适合的人群很明确：要在自有 GPU 上部署开源模型、且模型清单会不断变化的团队；需要在一块卡上同时服务多个 LoRA 的场景；以及正在做国产芯片适配、又不想为每块卡重写一套服务端的工程团队。

不太适合的是只需要调用闭源 API、不做自托管的人——vLLM 的价值全部在「你自己有卡」这个前提上。

项目地址：https://github.com/vllm-project/vllm

🔁 重复度：低 — 未检索到 vLLM 的同项目既往报道，可正常发布