不动一个梯度、只改九个权重矩阵:27B 模型思考少三成,GPQA 反涨 4.3 分

不动一个梯度、只改九个权重矩阵:27B 模型思考少三成,GPQA 反涨 4.3 分

1周前
duguying
5 阅读
来源:HuggingFace

权重空间编程的复现研究:无梯度、无训练数据,重写九个下投影矩阵后思考 token 少 27-54%,GPQA Diamond +4.3、LiveCodeBench v6 +13.0,并附范数匹配随机对照。

相关标签

#HuggingFace#人工智能#权重编辑#推理效率#模型编辑

推理模型有个甩不掉的毛病:答案对了,但前面绕了两千个 token。想让它少想一点,常规解法是换更小的模型、蒸馏、或者干脆改 prompt——都得重新训练,还得接受掉点。Concept Country 团队放出的 qwen-concept-27b 走的是另一条路:不动一个梯度、不用一条训练数据、不微调,只重写九个层的下投影矩阵,就让 27B 模型思考长度砍掉三成,GPQA Diamond 和 LiveCodeBench v6 反而更高。

它是做什么的

这不算新训练出来的模型,底座就是 Qwen3.8-27B,任务类型、输入输出都和原版一样:文本进、文本出。区别在于它的权重被”程序化编辑”过——在前向传播中从残差激活里读出方向,把这个方向编译成九个交替层下投影矩阵的一个秩一加性项。整个编辑由模型自己的激活推出来,没有任何梯度步,也没有训练集参与拟合。

用起来没有任何额外负担:同一个 tokenizer、同一套推理框架,换权重即可。它解决的是很现实的问题——推理模型的思考 token 是实打实的钱和延迟,如果你的场景里”想太久”比”想得不够”更常见,这就是一个不用重训的档位开关。

效果与对照

作者做的是预注册确认研究,判据在看到结果前就定好了。所有数字来自 bf16 权重、以 Q8_0 服务:

  • GPQA Diamond:+4.3 分(95% 置信区间 +1.8 到 +7.1),思考 token 少 30.0%;20 道题变好、5 道变差。
  • LiveCodeBench v6:+13.0 分(区间 +6.1 到 +20.6),token 少 29.2%——三项里涨幅最大。
  • IFBench:+3.3 分,token 少 54.1%(loose 79.3→82.7,strict 72.0→74.0),指令跟随没有退化。

但真正让这件事成为”发现”而不是”玄学”的,是那个对照实验:同样九个矩阵、同样扰动幅度、方向换成与拟合方向正交的随机向量,结果是什么都没变——三个基准的置信区间全部跨零,一个 token 也没省。这就把”随便扰动一下也能涨分”这个最常见的解释堵死了。作者也很克制:IFBench 那条对照判据被他们自己标为 borderline,不主张。

可复现做到了什么程度

这份工作在产品之外还有一层意义:它把”复现”写进了交付物。编辑与对照的完整规格、每一份带 digest 的评分结果文件、带逐臂样本普查的生成脚本、种子稳定性扫描全部公开;emit_results.py 从评分产物重算每一个统计量,emit_numbers.py 重画文中每一个图,所以论文里没有一个数字是手抄的。发现阶段只用了 MATH 的训练集切分,确认集从未参与选择。

格式与边界

权重给了五个档:bf16(~52 GB,所有结果的来源)、FP8_BLOCK(~30 GB,对齐 Qwen 官方 FP8 布局)、NVFP4 W4A16(~20 GB,Blackwell 级硬件)、GGUF Q8_0(~27 GB,跑分用的就是这一份)、Q4_K_M(~16 GB,直接从 bf16 量化一跳,不是从 Q8_0 再压)。每个目录带 SHA256SUMS,另有兼容 HF Hub API 的镜像(HF_ENDPOINT=https://models.concept.country)。

模型卡里最值得抄的一句话是这句:量化只是部署便利,不是分别评估过的产物;没有任何声明说 4bit 转换能保住这个效果——那需要单独评估,而目前还没做。状态标的是 experimental、under evaluation。许可 Apache-2.0,继承自 Qwen3.8-27B。

对想省推理成本的团队,这是一个成本极低的实验:下载 ~16 GB 的 Q4_K_M 试一次,就知道自己的任务上”少想三成”是赚还是亏。但别把论文里的 +4.3 和 +13.0 直接当成自己的收益——那是 27B 底座在 Q8_0 上的特定判据结果。

模型地址:https://huggingface.co/ConceptCountry/qwen-concept-27b

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯