
同样的 8.4GB,AIME25 高出 10 分:ISTA 给每个权重张量单独定比特
ISTA-DASLab 用 GSQ 加 RCO 给 Qwen3.8-27B 的每个权重张量单独分配量化类型,在总大小预算的精确约束下做梯度搜索:同样 8.4 GB,AIME25 比同尺寸量化包高 10 分,3.5 bpw 下 11.8 GB 基本任务无损,且随包发布逐张量分配表可审计。
相关标签
同样的 8.4GB,AIME25 高出 10 分:ISTA 给每个权重张量单独定比特
量化圈有个默认动作:整个模型用一种量化类型,Q2_K 或 Q4_K_M,一键到底。所谓”混合精度”,多数情况下也只是手工挑几层留高精度。奥地利 ISTA 的 DASLab 把这套做法换掉了——他们让每个权重张量各自决定用哪种量化类型,总大小卡死在预算内,然后把结果按标准 GGUF 发出来。
它做什么
Qwen3.8-27B 的一份量化发布,产物仍是标准 GGUF,llama.cpp、Ollama、LM Studio 里直接能跑,不需要自定义算子或补丁。输入是文本提示(配上随包的 mmproj 视觉投影还能吃图),输出是文字回答。
它的卖点不是”能跑”,而是同样的文件大小,掉的分明显更少。这份包最适合两种人:显存紧但不敢碰低比特、怕数学和代码崩掉的本地部署用户;以及想审计”这份量化到底怎么分的”的研究者。
两个方法:一个管怎么压,一个管压谁
GSQ(Gumbel-Softmax Quantization,arXiv:2604.18556)解决的是”给定量化类型,怎么压得更准”。它用 Gumbel-Softmax 松弛,同时学习每个坐标的网格分配和每组 scale,在 2 到 3 bit 这个最难看的区间里,把标量量化与向量量化之间的差距基本补齐——同时还能落进 GGUF 这类标准标量格式,不用为了精度换成向量量化那套不可部署的方案。
RCO(Riemannian Constrained Optimization,arXiv:2605.00649)解决的是”预算内怎么分工”。它要给 N 个张量各选 K 种量化类型之一,总比特宽度必须精确等于目标。作者把带预算约束的组合问题重构成 logit 空间里的光滑黎曼流形,于是可以直接在任务损失上做梯度优化,约束被精确满足,而且不需要为约束单独调超参。
两步合起来:先用 GSQ 把每个张量在所有候选类型上都压一遍,建立一个可搜索的”张量-量化变体”数据库;再用 RCO 在预算约束下给每个张量指派类型;最后拼成一个普通 GGUF 文件。整套流程和代码分别在 IST-DASLab/GSQ 与 IST-DASLab/RCO 两个仓库。
数据:同尺寸对比最有说服力
官方的评测表直接给出了对照,其中 8.4 GB 这一档最能说明问题:
| 变体 | bpw | 大小 | AIME25 | GPQA-D | LCB v6 | 零样本均分 |
|---|---|---|---|---|---|---|
| BF16 | 16.00 | 53.8 GB | 100.00 | 89.90 | 85.71 | 74.34 |
| GSQ-RCO IQ2_XS | 2.50 | 8.4 GB | 96.67 | 84.85 | 76.57 | 74.54 |
| UD-IQ2_S | 2.49 | 8.4 GB | 86.67 | 76.26 | 72.00 | 73.80 |
同样 8.4 GB,IQ2_XS 相对 UD-IQ2_S 在 AIME25 上高 10.00 分、GPQA-Diamond 高 8.59 分、LiveCodeBench v6 高 4.57 分——这不是小数点后的差别,是 2 bit 段能不能干活的差别。
往上一档更乐观:3.00 bpw 的 IQ3_XXS 只占 10.1 GB,AIME25 已经追平 BF16(100.00);3.50 bpw 的 IQ3_S 占 11.8 GB,AIME25 100.00、LCB v6 85.71 与 BF16 完全一致,GPQA-Diamond 89.39 只差 0.51,任务均分 91.70 对 91.87,达到 99.8%,而体积缩到 1⁄4.6。官方把这一档称为”任务无损”。
有意思的是它并非每项都赢:3.52 bpw 的 UD-IQ3_S 在 GPQA-Diamond 上反超 0.51 分,但为此多占 0.2 GB,并在 AIME25 上落后 3.33 分、LCB v6 落后 1.71 分。换句话说,RCO 学到的是”按任务敏感度取舍”,不是”每项都刷满”。
连分配方案都能审计
这份发布更少见的地方,是把审计材料一起放出来了。每个 GGUF 文件都附带 tensor-allocation/<model>.rco-allocation.txt,逐条列出该文件里每个张量被指派的量化类型,并给出类型直方图与目标比特宽度——不打开模型就能看清 RCO 的搜索结果。用过的 importance matrix 也一并提供(1000 段、每段 4096 token)。-mtp 版本另有自己的分配导出,列出与底座相同的逐张量指派,再加上 MTP 头的 15 个张量。
视觉侧给了 mmproj-Qwen3.8-27B-BF16.gguf,直接从底座 checkpoint 转换,并已在各个量化版本上验证过。
怎么上手
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --local-dir .
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf -p "Explain mixed-precision quantization." -ngl 99
多模态用法换成 llama-mtmd-cli 并加 --mmproj;Ollama 一行 ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF;LM Studio 搜仓库名后从文件列表挑 GSQ-RCO-* 的构建。量化权重继承底座许可(Qwen3.8-27B),工具链由 DASLab 按其仓库许可发布。
为什么值得看
混合精度量化长期停留在”手工挑几层留高精度”的经验阶段,能不能做好全看作者试了多少遍。GSQ 和 RCO 把它拆成两个可优化的问题:单张量怎么压得更准,以及预算内怎么分配。可复现的结果是同尺寸下 2 bit 段的数学与代码能力被拉回十几分——这种不用重训、不用换硬件的收益,比再训一个小模型划算得多。
更实用的一点是它顺手把”量化质量”从黑箱变成了可复核的工程参数:分配表随包发布,谁都可以核对某个关键张量(比如注意力输出投影)到底被给了几比特。对一个要长期维护本地推理栈的团队来说,这比榜单上多几分更有意义。
模型地址:https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
更多资讯
想看更多优质内容?
浏览所有资讯