纯 RL 零蒸馏:18 天炼出 27B Agent 模型,Terminal Bench 翻倍

纯 RL 零蒸馏:18 天炼出 27B Agent 模型,Terminal Bench 翻倍

前天
duguying
2 阅读
来源:HuggingFace

RadixArk 首个模型 DaisyRose-27B:只用强化学习训练 Qwen3.8-27B,1200 个最长 1M token 的 Agent 任务、144 块 H200 炼 18 天,Terminal Bench 4.1 从 5.6 提到 12.0,权重 Apache-2.0 三精度发布。

相关标签

#HuggingFace#人工智能#强化学习#Agent#开源模型

纯 RL 零蒸馏:18 天炼出 27B Agent 模型,Terminal Bench 翻倍

“只用强化学习,不做监督微调,不蒸馏”——RadixArk 发布的首个模型 DaisyRose-27B 把训练配方写得极简,把任务难度写得极高:约 1200 个长程 Agent 任务,单个会话可长达 1M token,一个任务最多在沙盒里跑 1.5 小时、100 多次工具调用。144 块 H200 炼 18 天,约 63,000 GPU 小时,把底座 Qwen3.8-27B 的 Terminal Bench 4.1 pass@1 从 5.6 提到 12.0。

DaisyRose-27B 是一个 27B 多模态推理模型,thinking 模式回答,思考过程与最终答案分别放在 reasoning_content 和 content 里。它保留了底座的架构、分词器和聊天模板,图像理解与 256K 上下文原样继承,因此可以作为 Qwen3.8-27B 的”即插即用”替换——现有推理栈和后训练管线不用改一行。这也是本周榜单的一个缩影:Qwen3.8-27B 底座此前已有解码加速版 DSpine、pi harness 适配器等多个衍生,DaisyRose 是又一个”同一底座、另一条路”的改法,只不过这次赌的是纯 RL。

训练数据是与 Eigent AI 合建的。起点是其在机器学习、软件工程、科学等领域的大任务池,筛出约 1200 个进入最终训练集;每个任务都瞄准底座模型的一个具体失误点,并调整到”不太简单也不太难”的可学习区间。防作弊措施做得细:团队连同模型的尝试逐条审查,凡是不真正解题也能通过的都被修掉或剔除。

训练基础设施也开源了。自研 RL 框架 Miles 以全异步方式运行:128 块 H200 跑 Agent 执行任务(SGLang 伺服),16 块训练完成的轨迹,每步更新后的权重再推回执行侧。有些训练会话长达 1M token,每一步都在从”非常长的会话”里学东西。

基准成绩单里,Terminal Bench 4.1 的 5.6→12.0 是头条,同表对比了 30B 到 816B 的多个开源模型和 GPT-6 Luna(15.2);Terminal Bench 2.1 达 75.5(底座 73.0);DeepSWE v1.1 46.2(底座 42.2);SWE Bench Pro v2 94.7(底座 91.3)。最值得注意的是 IFBench:82.4 分是全表最高,底座为 79.5——指令遵循的提升幅度在模型卡自报的数字里相当显眼。GPQA Diamond 90.7(底座 89.2),HLE 文本 34.3 与底座基本持平。

部署成本对单卡玩家友好:BF16 权重约 52GB、FP8 约 29GB、NVFP4 约 23GB(需 Blackwell 卡),从 H200/B200 数据中心卡到 RTX 5090、DGX Spark 都在支持列表里;官方推荐 SGLang 伺服,配合自家开源的 DSpark 草稿模型做投机解码,cookbook 按每款 GPU 生成了启动命令。权重以 Apache-2.0 发布 BF16、FP8、NVFP4 三种精度。

对想在本地跑长程 Agent 任务、又被”大模型太贵、小模型不行”卡住的开发者来说,DaisyRose 的意义不在分数本身,而在配方可复制:任务怎么挑难度、怎么防绕过、异步 RL 怎么排布,RadixArk 把框架和做法都摊开了。

模型地址:https://huggingface.co/RadixArk/DaisyRose-27B

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯