同一个 27B,工具调用从 100 步压到 8 步:pi 适配器让 Agent 少绕路还更准

同一个 27B,工具调用从 100 步压到 8 步:pi 适配器让 Agent 少绕路还更准

4天前
duguying
2 阅读
来源:HuggingFace

harness-hub 用 RL 训练的 LoRA 适配器不改权重字节,让 27B 编码 Agent 在 pi 脚手架里 SWE-bench Pro 从 39.2% 到 64.7%,生成 token 少约 4.5 倍,并公开配对检验与 p 值。

相关标签

#HuggingFace#人工智能#编码Agent#LoRA

模型权重一个字节没改,SWE-bench Pro 从 39.2% 跳到 64.7%。harness-hub 放出的这个适配器证明了一件事:编码 Agent 的分数里,有很大一块不是”会不会写代码”,而是”会不会少绕路”。

它是做什么的

Qwen3.8-27B-pi-adapted 不是新模型,而是给 Qwen/Qwen3.8-27B 加的一个 LoRA 适配器(r=32、alpha=64,挂在 q/k/v/o 与 gate/up/down 投影上),用强化学习把它训练成 pi 编码 Agent(github.com/earendil-works/pi)背后的那个”司机”。

输入是一条软件工程或终端任务,加上此前的工具调用历史;输出是下一步动作——搜索哪个文件、改哪一行、跑哪条测试。它不改变模型的通用知识,改变的是它在”读代码 → 动手 → 验证”这个循环里的决策习惯。

差距落在效率上,不是能力上

模型卡给的配对结果(同一批任务、每任务一次机会、100 步预算、关思考,底座与适配器设置完全一致):

  • SWE-bench Pro(hard 51):39.2% → 64.7%,+25.5 分,15 题新解出、2 题丢失,p=0.0023;
  • Terminal-Bench 2.1:39.5% → 55.8%,+16.3 分,16 题新解出、2 题丢失,p=0.0013;
  • 在未参与挑选 checkpoint 的 68 道 Terminal-Bench 任务上:39.7% → 55.9%,+16.2 分,p=0.0074。

更值得注意的是”同样解出来的题,各花了多少力气”。在双方都解出的任务上取中位数:SWE-bench Pro 用了 23 轮(底座 59 轮),Terminal-Bench 2.1 用了 8 轮(底座 18 轮);生成 token 6.9k 对 9.6k。

和”底座开满思考”比,对照更刺眼:底座开 xhigh 时 SWE-bench Pro 也是 64.7%,但单任务生成 34.4k token、48 次模型调用;适配器关思考达到同样准确率,只要 7.9k token、21 次调用——约 4.5 倍 token 差距。模型卡的建议很直白:保持思考关闭,给适配器开思考不会更准,只会多烧四倍 token。

模型卡里有个具体例子:一道 SWE-bench Pro 真题(instance_ansible__ansible-d62496...,要修 human_to_bytes),底座反复搜片段、重跑,直到撞上 100 步上限被判 0 分;适配器 8 次工具调用就定位到函数、改完、跑测试、补上最后一个失败用例。

怎么训出来的

方法不复杂,但工程细节很硬:

项 设置
方法 TRL 的 AsyncGRPO(实验性),LoRA
环境 Harbor 任务 + OpenEnv 服务,rollout 跑在 HF 沙箱,工具调用过 safeagents 筛查
数据 750 条 scale800 任务 + 300 条 TermGrade 任务交错,累计 1,919 个任务组
奖励 验证器 correctness(无则回退 reward)+ 0.1 权重的工具效率奖励
步数 160 步(本 checkpoint),实际在第 191 步停,原计划 1000 步
超参 lr 2e-5,LoRA r=32/alpha=64,每任务 8 条 rollout,temperature 0.8,关思考,最多 50 步 / 1800 秒
硬件 每个 harness 2×B200:一张跑 vLLM,一张跑训练

“工具效率奖励”是这条适配器的核心:奖励里除了”做对没有”,还明码加分”用了几次工具”。这解释了为什么分数涨的同时轮次掉了——它不是学会了更多解法,而是学会了不再重复同一个失败的尝试。

值得单独提的一点:它改过自己的数字

模型卡里有一段更正说明:早期版本报的是 29.4% → 62.7%,后来发现有 9 条底座的 rollout 是因为沙箱与模型服务器之间的公网隧道中途断开才失败的,现在每条 rollout 都会检查这个,并对受影响的两侧全部重跑。另外它明确声明测试文件不会影响判分(SWE-bench Pro 的 grader 在跑官方测试前会重置全部测试文件),以及适配器的可见推理是纯文本、<think> 标签出现率低于千分之一。

在动辄把最好一次跑分当结论的榜单环境里,这种自我更正是稀缺品。

怎么用

最省事的是 vLLM 挂 LoRA:

vllm serve Qwen/Qwen3.8-27B \
    --enable-lora --max-lora-rank 32 \
    --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi \
    --language-model-only --enable-prefix-caching --mamba-cache-mode align \
    --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 \
    --default-chat-template-kwargs '{"enable_thinking": false}' \
    --max-model-len 131072

其中 --mamba-cache-mode align 不能省:这个混合模型开前缀缓存需要它,否则每一轮 Agent 都要重读整段历史。然后把 pi 指向本地服务,"api" 必须写 openai-completions——写成 Responses API 就不是它训练和评测时的用法了。

另外三条路也给了:transformers serve(轻量,实验用)、llama.cpp 跑 GGUF 适配器(底座建议 Q8_0,越低比特偏移越大,GGUF 版未重新评测)、macOS 上的 Llama.app(首次会下约 17GB 底座)。想彻底脱离 LoRA,也可以合并成约 54GB 的 BF16 独立权重,任何引擎都能直接服务。

需要提醒的两点:这些数字只在这个 harness、这套采样参数下成立,不能和 Qwen3.8-27B 模型卡上的分数直接比(那边用的是 Terminus、Claude Code 等脚手架,思考开满、预算更大、跑的是完整 SWE-bench Pro);适配器也只能挂在这一个底座上,换底座就失效。

如果你自己在跑自托管编码 Agent,这条的价值不在”又一个 27B”,而在它提供了一个可复制的配方:冻结权重,只调行为,用工具效率当奖励。

模型地址:https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯