
Terminal-Bench 涨 11 分:DeepSeek 补平 Flash 的 Agent 短板
DeepSeek-V4.1-Flash-1017 名义上只是小版本更新,Terminal-Bench 4.0 却从 31.2 涨到 42.3、ProgramBench 从 20.3 到 29.1,同时缩短任务耗时与输出长度;这个版本还取消了 Jinja 模板,改用 Python 参考实现与 Rust 协议库。
相关标签
Terminal-Bench 涨 11 分:DeepSeek 补平 Flash 的 Agent 短板
DeepSeek 放出了 DeepSeek-V4.1-Flash-1017。名字上它只是 V4.1-Flash 的一个小版本,README 第一句也老老实实写着”minor update”;但把评测表摊开,这次改动不是小数点后一位的事。
它是什么模型
任务类型是 image-text-to-text:一个多模态对话模型,能纯文本推理,也能读图,支持思考模式和工具调用。上下文窗口 1M tokens,max_tokens 建议 256K 以上,采样参数给的是 temperature 1.0、top_p 1.0。许可为 MIT。
适用人群很明确:把它当 Agent 底模用的人——编码 Agent、终端操作 Agent、自动化流水线;以及需要长上下文加视觉理解、又要能私有部署的团队。
涨得最猛的是”动手”类任务
README 列了 11 项基准,和上一版 V4.1-Flash 对比:
- Terminal-Bench 4.0:31.2 → 42.3(用 Claude Code harness 测)
- ProgramBench:20.3 → 29.1
- Automation-Bench v1.0.6:54.8 → 60.5
- Apex Bench v1.1:64.6 → 72.1
- Agents’ Last Exam:31.8 → 35.4
单看 Terminal-Bench,11 个点的涨幅不是调提示词能拿到的——这一项考的是在真实终端里读报错、改文件、跑命令、自我纠错。同一张表里,K3 只有 12.6,GLM-5.3 是 37.9,GPT-5.6 Sol 39.9,Opus 5 是 51.8。也就是说更新之后,Flash 这一档在终端类任务上已经越过了几个更大的对手。
推理和代码是小幅抬升:HLE 无工具 36.8 → 42.6(纯文本子集 44.0),DeepSWE v1.1 74.2 → 77.0,NL2Repo-Bench 65.4 → 68.2。视觉侧 Chartography(带工具)83.0、BabyVision(带工具)92.5、ZeroBench-main(带工具)51.0。
另一个卖点是”更短的答案”
README 里有一句容易被跳过的话:这次同时缩短了任务执行时间与输出长度,在多个 Agent harness 上把性能与成本的帕累托前沿往外推。
对天天跑 Agent 的人来说,这句话的实际重量不比分数低。Agent 的账单是”轮数 × 每轮 token”,输出变短意味着同样的任务更少 token、更快收敛;执行时间下降,意味着同样并发下更少的机器。分数涨 11 点、账单同时下降,这才是这次更新值得单独说的原因。
接口层改了,迁移要注意
这个版本不再提供 Jinja 格式的 chat template。仓库里 encoding/ 目录给了一份自包含的 Python 参考实现 encoding.py,覆盖多轮对话、工具调用、思考模式、数值化 reasoning effort、对话中途插入 system message、交错图片内容等场景,并带测试用例。
生产环境另有一套 deepseek-recipe:一组带 Python 绑定的 Rust 库,负责把 Messages / Chat Completions / Responses 三种 API 形状的请求编码成 V4 / V4.1 的提示词或 token id,再把模型输出解析回完整响应或流式响应。推理、工具执行、HTTP 传输都留给调用方。
换句话说,DeepSeek 把”提示词格式”从一份容易写错的模板,变成了一个有测试用例、有维护方的协议库。对已经自己拼 Jinja 模板的团队,这是一次必要的迁移,但也是顺手把这类隐性技术债清掉的机会。
一句话
对正在选 Agent 底模的团队,这种”不改名字、只改数字”的更新比发新模型更划算:能力上限抬了一档,迁移成本接近为零,MIT 许可也不用重新谈。
模型地址:https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
更多资讯
想看更多优质内容?
浏览所有资讯