
NVIDIA 开源「Skill Lift」评估法:技能装没装,Agent 成绩差多少一测便知
NVIDIA 开源 SkillEvaluator,用有无技能的对照实验量化 Agent 技能的真实效果,v0.9.0 新增评估预算控制、可复用基线与逐条证据追溯。
相关标签
Agent 技能(skills)生态这两年爆发式增长,但一个根本问题一直没人认真回答:装了这个技能,Agent 到底变好了多少?NVIDIA 给出的答案是开源评估框架 SkillEvaluator,日前发布 v0.9.0,核心思路是做对照实验——同一任务跑”有技能”和”无技能”两组,用 Skill Lift 量化技能对任务结果的真实影响。
框架按层级组织评估。Tier 1 是静态质量检查,完全不需要 API key:官方示例技能 text-analyzer 拿到 86.2/100(B 级),及格线默认 70。后续层级引入语义重叠检测、合成评估数据集生成,以及对真实 Agent 的对照评估,衡量技能如何改变 Agent 行为。所有能力收敛在一个 CLI 里,三种入口殊途同归:本地 pip install 直接跑;在仓库里执行 skillevaluator ci init,它会开一个 setup PR 把技能检查挂进每次 pull request;或者 npx skills add 装进 Claude Code、Codex 等技能感知的 Agent,直接问”我的技能行不行”。项目属于 NVIDIA Verified Skills 流水线,配套论文已挂在 arXiv。
v0.9.0 重点补的是评估工程的可信度。预算控制让 token、judge 调用、尝试次数和计费成本都可设上限,超限后报告保留部分结果而不是整体报废;–reuse-baseline 可以复用无技能基线,–compare-to 能对比技能不同版本的演进;证据展示要求每条期望标注 met、unmet、unchecked 或 inapplicable,让”为什么通过/失败”可追溯;judge 的请求与回复全部留档,可用 tier3 feedback 对已完成的评估追问。
对技能作者来说,这套工具补上了发布流程里缺失的一环;对整个生态来说,它与 NVIDIA 十月底开源的 SkillSpector 正好互补——SkillSpector 扫描技能里的漏洞管安全,SkillEvaluator 量化技能的效果管质量,技能的”体检”从此有了两份报告单。
更多资讯
想看更多优质内容?
浏览所有资讯