
一次并行起草 16 个 token:腾讯 DSpine 让 27B 解码快 2.7 到 3.8 倍
腾讯给 Qwen3.8-27B 配了个 5 层草稿模型,把投机解码从逐 token 猜改成并行猜 16 个,Agent 轨迹回放实测端到端吞吐最高 3.84 倍,输出质量仍由主模型负责。
相关标签
长上下文 Agent 任务里,27B 模型往往不是算不动,而是解码阶段一个 token 一个 token 地吐,显存带宽被吃满。腾讯给出的答案是:不换主模型,只在它前面挂一个 5 层的小模型,一次并行”猜”出 16 个 token,让主模型一口气校验。
先弄清它是什么
tencent/Qwen3.8-27B-DSpine-b16 不是一个能独立对话的模型,而是投机解码(speculative decoding)的草稿模型。
机制可以这样理解:主模型 Qwen3.8-27B 照常负责最终输出,旁边的小模型先快速起草接下来的一段 token,主模型再并行校验这批候选——猜对的部分直接采纳,猜错的从第一个错处截断重来。因此输出质量由主模型决定,草稿模型只影响”猜得准不准、猜得多快”。这也是为什么草稿模型可以只有五层:它不需要会说话,只需要会跟。
DSpine 与常见方案的区别在于起草方式。逐 token 串行猜会受延迟限制,它改成并行:每一层把预测到的前驱特征传递给相邻位置,让因果依赖沿着网络深度传递,于是一次性产出 block size 16 个草稿 token,配合 8,192 token 的滑动窗口。它挂在 Qwen3.8-27B 上使用,输入是对话历史与工具调用前缀,输出是候选 token 块。
数据:接受长度与端到端吞吐都占优
对比对象是官方的 Qwen3.8-27B 草稿模型 DFlash2(draft blocks 为 8)。在贪心解码(T=0)下,DSpine 的接受长度全面更高:
| 任务 | DFlash2 | DSpine |
|---|---|---|
| GSM8K | 5.69 | 7.20 |
| MATH-500 | 5.49 | 6.49 |
| HumanEval | 4.87 | 5.71 |
| MBPP | 5.04 | 6.14 |
| MT-Bench | 4.11 | 4.48 |
接受长度直接决定加速比,所以端到端吞吐的提升更值得看。测试用 SGLang 0.5.22、BF16、FlashAttention 3、并发 8,按 agent 轨迹并发回放计时(输出 token 总数 ÷ 端到端墙钟时间):
| 基准 | 自回归 | DSpine | 加速 |
|---|---|---|---|
| WorkBuddy Office | 210.03 | 805.53 | 3.84× |
| WorkBuddy Web | 247.40 | 773.19 | 3.13× |
| SWE-bench Pro | 241.86 | 713.41 | 2.95× |
| WorkBuddy Code | 253.35 | 686.23 | 2.71× |
| τ²-bench | 301.39 | 964.30 | 3.20× |
开 xhigh 推理档后仍有 3.18~3.55 倍。这些数字的可信度来自测法:不是跑几句 prompt 取平均,而是把 CodeBuddy 沙箱里的真实工具调用前缀按顺序回放,每子集 20 段对话,带前缀缓存,单请求最多 32,768 个新 token。
怎么接
草稿模型 Apache 2.0,安装是把 Tencent/DSpine 克隆下来 pip install -e .,然后按模型卡给定的参数起 SGLang:
sglang serve --model-path Qwen/Qwen3.8-27B \
--speculative-algorithm DSPINE \
--speculative-draft-model-path /path/to/Qwen3.8-27B-DSpine-b16 \
--speculative-num-draft-tokens 16 \
--dtype bfloat16 --attention-backend fa3
模型卡里还要求 --enable-linear-replayssm-spec、--mamba-ssm-dtype float32、--mamba-radix-cache-strategy extra_buffer、--max-mamba-cache-size 64、--mem-fraction-static 0.80 等一串参数,说明这条加速路径与 Qwen3.8 的线性注意力架构、状态空间缓存是绑定的,换别的底座不能照抄。动态校验部分参考了 DeepSeek 的 DSpark,方法论文在 arXiv 2609.36173。
值得注意的地方
加速比不是无条件的。草稿模型要吃显存和算力,并发低、输出短(比如单轮问答)时收益会被摊薄;真正受益的是长输出、工具调用密集的 Agent 负载——这也正是它选择 WorkBuddy Code/Web/Office 与 SWE-bench Pro 做评测的原因。另外,投机解码的输出分布理论上与主模型一致,但接受长度会随任务类型大幅波动,上线前应在自己的真实流量上测一遍,而不是直接套用论文里的 3 倍。
对已经用 SGLang 部署 Qwen3.8-27B 的团队,这是一个不需要重新训练、不改业务代码的吞吐选项。
更多资讯
想看更多优质内容?
浏览所有资讯