
125B 只算 6B:Qwen3.8-Flash-Next 把 51B 参数挪进查表
Qwen3.8-Flash-Next 的 GGUF 量化版就绪:125B 总参数只激活 6B,51B 参数做成 n-gram 查表,Unsloth Dynamic v3.1 量化从 1-bit 铺到 Q8_0,llama.cpp 可直接加载。
相关标签
125B 的模型,算的时候只用 6B
大模型的参数量这几年基本等于账单。要让模型更聪明,就得加参数;加了参数,每一步推理就得更贵。Qwen3.8-Flash-Next 想拆掉这个等号:总参数 125B,激活参数只有 6B,另外 51B 参数被做成了一张 n-gram 查表,还有 4B 给多 token 预测。
这 51B 不参与矩阵乘法。模型的第 2 层挂了一个容量两千万条的 n-gram 嵌入表,用 bigram/trigram 去索引——就像查词典,而不是让每个参数都参与运算。Qwen 在模型卡里把理由写得很直白:嵌入提供了另一条扩参数的轴,计算需求更低,而且比 MoE 更容易 offload 出显存。对内存受限的加速器来说,这是”用带宽换 FLOPs”的另一种解法。
这条路线和 MoE 是分岔的。MoE 稀疏的是”哪几个专家被激活”,专家仍然要算;n-gram 表稀疏的是”要不要读这张表”,读到了就几乎不花算力。代价也清楚:表必须待在能快速访问的地方,磁盘和内存占用不会因为”只激活 6B”而变小。
三项架构改动
模型卡把这次改动列成三条,都指向同一个目标——让长上下文和 agent 工作负载变便宜。
混合注意力换成 QSA:原来的 Gated DeltaNet + Gated Attention 组合,被改成 Gated DeltaNet + Qwen Sparse Attention。QSA 不在单个 token 上做稀疏选择,而是在 micro-block 粒度上选,官方说法是显著压低了长上下文延迟。对动不动要读几十万 token 仓库的编码智能体来说,这才是真正的瓶颈。
Gated Residual:残差流加归一化是深模型能训起来的前提,但拓宽残差流会带来额外开销。这里用一个逐元素、数据相关的读门控制流入残差流的信息,再加一个每分支的标量写门,在保持训练稳定的同时把推理开销压住。
N-gram 嵌入:即上文那张两千万条的表,藏在第 2 层。
训练侧还有个细节:Muon 和 AdamW 按权重类别分开用,靠重新拟合的 scaling law 直接以目标 batch size 起步,省掉传统 warmup,从而减少总优化步数、同时撑住更大的学习率。
成绩单指向编码智能体
官方对比表里最刺眼的两行是智能体编码:DeepSWE 1.1 得 58.7(Qwen3.8-27B 42.2、Qwen3.7-Plus 16.5),SWE-bench Pro 62.5(27B 61.7、397B 的对手 55.8)。测试条件是 Claude Code 与 mini-SWE-agent 两个 harness、temp 1.0、top_p 0.95、256K 上下文,取两者较高分。
上下文方面,原生支持 262,144 token,超过这个长度可以用 YaRN 之类的 RoPE 缩放往外推,官方建议在总长度接近百万级时把 factor 调到 2.0。默认行为叫”preserved thinking”:历史消息里的思考块全部保留,多轮对话保持完整推理轨迹——对 agent 场景意味着决策更一致、少重复推理,KV cache 利用率也更高。
量化版才是本地用户关心的部分
这个仓库是 unsloth 出的 GGUF 量化,用的是 Dynamic v3.1 配方。unsloth 的说法是比同尺寸的其他前沿量化准确率高 15%、token 用量少 50%、推理快 5%,并声称在 Terminal Bench、DeepSWE 等项目上分数最高;MTP 打通后另有 1.3–1.7 倍加速。
量化梯度铺得很全:从 UD-IQ1_S、UD-IQ2_XS 一路到 UD-Q4_K_XL、UD-Q5_K_XL,再到 Q8_0,大文件按 3–6 片分卷。运行方式是 llama.cpp、Strata,或者直接用 Unsloth Desktop 桌面应用。
现实一点说,125B 的模型就算压到 2-bit 也不是”轻量级”,它更接近”一台内存充裕的工作站能跑”而不是”笔记本随手跑”。但和过去必须上多卡 H100 才能碰到这个级别的模型相比,门槛确实下移了一个量级。
Qwen 把这个架构称作”Qwen4 的预览”:一次对注意力和参数扩展方式的重新设计,而不是又一代常规迭代。真正值得盯的是后面——如果 n-gram 查表这条路走通,以后衡量模型的不再只是”多少参数”,而是”多少参数真在算”。
更多资讯
想看更多优质内容?
浏览所有资讯