同样的 8.4GB,AIME25 高出 10 分:ISTA 给每个权重张量单独定比特

同样的 8.4GB,AIME25 高出 10 分:ISTA 给每个权重张量单独定比特

6天前
duguying
4 阅读
来源:HuggingFace

ISTA-DASLab 用 GSQ 加 RCO 给 Qwen3.8-27B 的每个权重张量单独分配量化类型,在总大小预算的精确约束下做梯度搜索:同样 8.4 GB,AIME25 比同尺寸量化包高 10 分,3.5 bpw 下 11.8 GB 基本任务无损,且随包发布逐张量分配表可审计。

相关标签

#HuggingFace#人工智能#模型量化#GGUF

同样的 8.4GB,AIME25 高出 10 分:ISTA 给每个权重张量单独定比特

量化圈有个默认动作:整个模型用一种量化类型,Q2_K 或 Q4_K_M,一键到底。所谓”混合精度”,多数情况下也只是手工挑几层留高精度。奥地利 ISTA 的 DASLab 把这套做法换掉了——他们让每个权重张量各自决定用哪种量化类型,总大小卡死在预算内,然后把结果按标准 GGUF 发出来。

它做什么

Qwen3.8-27B 的一份量化发布,产物仍是标准 GGUF,llama.cpp、Ollama、LM Studio 里直接能跑,不需要自定义算子或补丁。输入是文本提示(配上随包的 mmproj 视觉投影还能吃图),输出是文字回答。

它的卖点不是”能跑”,而是同样的文件大小,掉的分明显更少。这份包最适合两种人:显存紧但不敢碰低比特、怕数学和代码崩掉的本地部署用户;以及想审计”这份量化到底怎么分的”的研究者。

两个方法:一个管怎么压,一个管压谁

GSQ(Gumbel-Softmax Quantization,arXiv:2604.18556)解决的是”给定量化类型,怎么压得更准”。它用 Gumbel-Softmax 松弛,同时学习每个坐标的网格分配和每组 scale,在 2 到 3 bit 这个最难看的区间里,把标量量化与向量量化之间的差距基本补齐——同时还能落进 GGUF 这类标准标量格式,不用为了精度换成向量量化那套不可部署的方案。

RCO(Riemannian Constrained Optimization,arXiv:2605.00649)解决的是”预算内怎么分工”。它要给 N 个张量各选 K 种量化类型之一,总比特宽度必须精确等于目标。作者把带预算约束的组合问题重构成 logit 空间里的光滑黎曼流形,于是可以直接在任务损失上做梯度优化,约束被精确满足,而且不需要为约束单独调超参。

两步合起来:先用 GSQ 把每个张量在所有候选类型上都压一遍,建立一个可搜索的”张量-量化变体”数据库;再用 RCO 在预算约束下给每个张量指派类型;最后拼成一个普通 GGUF 文件。整套流程和代码分别在 IST-DASLab/GSQ 与 IST-DASLab/RCO 两个仓库。

数据:同尺寸对比最有说服力

官方的评测表直接给出了对照,其中 8.4 GB 这一档最能说明问题:

变体 bpw 大小 AIME25 GPQA-D LCB v6 零样本均分
BF16 16.00 53.8 GB 100.00 89.90 85.71 74.34
GSQ-RCO IQ2_XS 2.50 8.4 GB 96.67 84.85 76.57 74.54
UD-IQ2_S 2.49 8.4 GB 86.67 76.26 72.00 73.80

同样 8.4 GB,IQ2_XS 相对 UD-IQ2_S 在 AIME25 上高 10.00 分、GPQA-Diamond 高 8.59 分、LiveCodeBench v6 高 4.57 分——这不是小数点后的差别,是 2 bit 段能不能干活的差别。

往上一档更乐观:3.00 bpw 的 IQ3_XXS 只占 10.1 GB,AIME25 已经追平 BF16(100.00);3.50 bpw 的 IQ3_S 占 11.8 GB,AIME25 100.00、LCB v6 85.71 与 BF16 完全一致,GPQA-Diamond 89.39 只差 0.51,任务均分 91.70 对 91.87,达到 99.8%,而体积缩到 1⁄4.6。官方把这一档称为”任务无损”。

有意思的是它并非每项都赢:3.52 bpw 的 UD-IQ3_S 在 GPQA-Diamond 上反超 0.51 分,但为此多占 0.2 GB,并在 AIME25 上落后 3.33 分、LCB v6 落后 1.71 分。换句话说,RCO 学到的是”按任务敏感度取舍”,不是”每项都刷满”。

连分配方案都能审计

这份发布更少见的地方,是把审计材料一起放出来了。每个 GGUF 文件都附带 tensor-allocation/<model>.rco-allocation.txt,逐条列出该文件里每个张量被指派的量化类型,并给出类型直方图与目标比特宽度——不打开模型就能看清 RCO 的搜索结果。用过的 importance matrix 也一并提供(1000 段、每段 4096 token)。-mtp 版本另有自己的分配导出,列出与底座相同的逐张量指派,再加上 MTP 头的 15 个张量。

视觉侧给了 mmproj-Qwen3.8-27B-BF16.gguf,直接从底座 checkpoint 转换,并已在各个量化版本上验证过。

怎么上手

hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --local-dir .
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf -p "Explain mixed-precision quantization." -ngl 99

多模态用法换成 llama-mtmd-cli 并加 --mmproj;Ollama 一行 ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF;LM Studio 搜仓库名后从文件列表挑 GSQ-RCO-* 的构建。量化权重继承底座许可(Qwen3.8-27B),工具链由 DASLab 按其仓库许可发布。

为什么值得看

混合精度量化长期停留在”手工挑几层留高精度”的经验阶段,能不能做好全看作者试了多少遍。GSQ 和 RCO 把它拆成两个可优化的问题:单张量怎么压得更准,以及预算内怎么分配。可复现的结果是同尺寸下 2 bit 段的数学与代码能力被拉回十几分——这种不用重训、不用换硬件的收益,比再训一个小模型划算得多。

更实用的一点是它顺手把”量化质量”从黑箱变成了可复核的工程参数:分配表随包发布,谁都可以核对某个关键张量(比如注意力输出投影)到底被给了几比特。对一个要长期维护本地推理栈的团队来说,这比榜单上多几分更有意义。

模型地址:https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯