一次并行起草 16 个 token:腾讯 DSpine 让 27B 解码快 2.7 到 3.8 倍

一次并行起草 16 个 token:腾讯 DSpine 让 27B 解码快 2.7 到 3.8 倍

1周前
duguying
8 阅读
来源:HuggingFace

腾讯给 Qwen3.8-27B 配了个 5 层草稿模型,把投机解码从逐 token 猜改成并行猜 16 个,Agent 轨迹回放实测端到端吞吐最高 3.84 倍,输出质量仍由主模型负责。

相关标签

#HuggingFace#人工智能#投机解码#推理加速#Qwen3.8

长上下文 Agent 任务里,27B 模型往往不是算不动,而是解码阶段一个 token 一个 token 地吐,显存带宽被吃满。腾讯给出的答案是:不换主模型,只在它前面挂一个 5 层的小模型,一次并行”猜”出 16 个 token,让主模型一口气校验。

先弄清它是什么

tencent/Qwen3.8-27B-DSpine-b16 不是一个能独立对话的模型,而是投机解码(speculative decoding)的草稿模型。

机制可以这样理解:主模型 Qwen3.8-27B 照常负责最终输出,旁边的小模型先快速起草接下来的一段 token,主模型再并行校验这批候选——猜对的部分直接采纳,猜错的从第一个错处截断重来。因此输出质量由主模型决定,草稿模型只影响”猜得准不准、猜得多快”。这也是为什么草稿模型可以只有五层:它不需要会说话,只需要会跟。

DSpine 与常见方案的区别在于起草方式。逐 token 串行猜会受延迟限制,它改成并行:每一层把预测到的前驱特征传递给相邻位置,让因果依赖沿着网络深度传递,于是一次性产出 block size 16 个草稿 token,配合 8,192 token 的滑动窗口。它挂在 Qwen3.8-27B 上使用,输入是对话历史与工具调用前缀,输出是候选 token 块。

数据:接受长度与端到端吞吐都占优

对比对象是官方的 Qwen3.8-27B 草稿模型 DFlash2(draft blocks 为 8)。在贪心解码(T=0)下,DSpine 的接受长度全面更高:

任务 DFlash2 DSpine
GSM8K 5.69 7.20
MATH-500 5.49 6.49
HumanEval 4.87 5.71
MBPP 5.04 6.14
MT-Bench 4.11 4.48

接受长度直接决定加速比,所以端到端吞吐的提升更值得看。测试用 SGLang 0.5.22、BF16、FlashAttention 3、并发 8,按 agent 轨迹并发回放计时(输出 token 总数 ÷ 端到端墙钟时间):

基准 自回归 DSpine 加速
WorkBuddy Office 210.03 805.53 3.84×
WorkBuddy Web 247.40 773.19 3.13×
SWE-bench Pro 241.86 713.41 2.95×
WorkBuddy Code 253.35 686.23 2.71×
τ²-bench 301.39 964.30 3.20×

开 xhigh 推理档后仍有 3.18~3.55 倍。这些数字的可信度来自测法:不是跑几句 prompt 取平均,而是把 CodeBuddy 沙箱里的真实工具调用前缀按顺序回放,每子集 20 段对话,带前缀缓存,单请求最多 32,768 个新 token。

怎么接

草稿模型 Apache 2.0,安装是把 Tencent/DSpine 克隆下来 pip install -e .,然后按模型卡给定的参数起 SGLang:

sglang serve --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DSPINE \
  --speculative-draft-model-path /path/to/Qwen3.8-27B-DSpine-b16 \
  --speculative-num-draft-tokens 16 \
  --dtype bfloat16 --attention-backend fa3

模型卡里还要求 --enable-linear-replayssm-spec、--mamba-ssm-dtype float32、--mamba-radix-cache-strategy extra_buffer、--max-mamba-cache-size 64、--mem-fraction-static 0.80 等一串参数,说明这条加速路径与 Qwen3.8 的线性注意力架构、状态空间缓存是绑定的,换别的底座不能照抄。动态校验部分参考了 DeepSeek 的 DSpark,方法论文在 arXiv 2609.36173。

值得注意的地方

加速比不是无条件的。草稿模型要吃显存和算力,并发低、输出短(比如单轮问答)时收益会被摊薄;真正受益的是长输出、工具调用密集的 Agent 负载——这也正是它选择 WorkBuddy Code/Web/Office 与 SWE-bench Pro 做评测的原因。另外,投机解码的输出分布理论上与主模型一致,但接受长度会随任务类型大幅波动,上线前应在自己的真实流量上测一遍,而不是直接套用论文里的 3 倍。

对已经用 SGLang 部署 Qwen3.8-27B 的团队,这是一个不需要重新训练、不改业务代码的吞吐选项。

模型地址:https://huggingface.co/tencent/Qwen3.8-27B-DSpine-b16

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯