594B 总参只激活 17B:Inkling 2 Small 用 NVFP4 啃下多模态

594B 总参只激活 17B:Inkling 2 Small 用 NVFP4 啃下多模态

1周前
duguying
4 阅读
来源:HuggingFace

Thinking Machines 开源的多模态 MoE:594B 总参、每 token 激活 17B、1M 上下文,从预训练起就在 NVFP4 里跑,代价是要 500GB 以上聚合显存;企业流程类基准上反超更大的对手。

相关标签

#HuggingFace#人工智能#多模态#MoE

“Small” 这个词在开源模型圈里通常指参数量小,但 Thinking Machines 给 Inkling 2 Small 的定位是另一种小:总参数 594B,每个 token 只激活 17B。代价是它要 500GB 以上的聚合显存才跑得动;回报是它在同级别评测里能跟一堆 Flash 级模型正面掰手腕,而且从预训练第一天起就在 NVFP4 里跑。

先弄清它是什么

输入文本和图像,输出文本。图像可以是任意像素格式,单边建议在 40–4096 px 之间;文本按 UTF-8 编码,上下文窗口最长 1M token。

它不是某个专精模型,而是通用多模态底座:Agent 与工具调用系统、编码助手、聊天机器人、RAG 管线都能直接接,也支持通用对话、指令跟随和其他自然语言与视觉任务。语言以英语为主,具备一般多语言能力;训练数据覆盖多种编程语言。权重以 Apache 2.0 开源,面向的是要自己微调、自己部署的开发者与研究者。

架构是 48 层 decoder-only 加稀疏 MoE 前馈:每个 token 路由到 384 个专家中的 8 个,注意力为局部层与全局层混合。多模态是从头做的——图像经视觉 Transformer 编码后与文本投影进同一个隐藏空间,由解码器联合处理。

原生 NVFP4,而不是训练完再压

这是它最值得记的一点。模型在预训练、中训、后训三个阶段都跑在 NVFP4 上,所以 NVFP4 是它的原生精度,不是事后量化。

官方同时提供 MXFP8 版本,但模型卡里写得很直白:MXFP8 在评测上只比 NVFP4 高 1–2 个百分点,”我们不认为这个差距在任何实际场景里有意义”,建议所有场景都用 NVFP4。

硬件门槛也就跟着写实了:主推的 NVFP4 权重需要至少 500GB 聚合显存,可以是 2 张 B300 或 4 张 H200;MXFP8 需要至少 800GB,4 张 B300 或 8 张 H200。单卡 80GB 的玩家可以不用考虑直接跑权重,走 API 或者第三方托管更现实。

评测:贴着 Flash 打,输给 Pro 但不难看

模型卡给了一张 13 列的大表,把同级开源 Flash、开源 Pro 和闭源 Flash 放在一起比。挑几行有代表性的(Inkling 2 Small 在前):

基准 Inkling 2 Small 参照
AA Index (v5.0) 30.6 DeepSeek-V4.1-Flash-1017 32.6 / Claude Haiku 5.5 36.5
Vals Index (v2.2) 56.1% DeepSeek-V4.1-Flash 61.3% / GLM 5.3 59.7%
DeepSWE v1.1 72.1% DeepSeek-V4.1-Flash 77.0% / Gemini 3.8 Flash 73.8%
SWEBench Pro v2 (Hard) 86.3% MiMo V2.6 Flash 89.7% / DeepSeek-V4.1-Flash 89.7%
BrowseComp 90.2% 全场最高(Gemini 3.8 Flash 89.4%)
DeepSearchQA 90.9% Claude Haiku 5.5 95.0%
MCP Atlas 85.4⁄85.0% Muse Spark Open 89.2⁄87.5%
JobBench 70.5% 全场最高(DeepSeek-V4.1-Flash 68.5%)
EnterpriseBench-CoreCraft 71.8% 全场最高(DeepSeek 58.5%、Gemini 58.5%)
DAYJOB (Finance) 14.3% 全场最高(DeepSeek 12.5%、GLM 5.3 11.0%)

多模态侧的数据更硬一些:OmniDocBench v1.6 拿 94.6%(Gemini 3.8 Flash 95.2%)、MMMU Pro 81.6%、BabyVision 68.6%(允许写 Python 时升到 93.6%)、ScreenSpot Pro 83.8⁄92.0%、Humanity’s Sixth Sense 33.3%、ARC-AGI-1 96.5%、ARC-AGI-2 81.7%、LongBench v2 70.6%、Global-MMLU-Lite 91.0%、AA-LCR v1.1 83.3%。

值得注意的是它在企业流程类基准上反超了比自己更大的对手——EnterpriseBench-CoreCraft 71.8%、JobBench 70.5%、Finance Agent v2.1 67.5%、DAYJOB(Healthcare) 6.4%,这几行都是全场第一。这类任务考的是一步步走流程、调工具、填表,跟”激活多少参数”关系不大,跟后训练怎么打磨关系更大。

怎么接

推理框架的 recipe 基本齐了:SGLang、vLLM、TokenSpeed、Unsloth 都有官方页面;后训练可以走 Miles、SkyRL、Snowflake Cortex Training;微调侧配套 tml-renderers 包;Tinker 平台提供 playground 和 API。

不想自己买卡的话,NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、Cloudflare 都已经上架,直接调 API 就行。

值得注意的地方

一是 1M 上下文与 17B 激活的组合很诱人,但 500GB 显存的门槛把自部署场景限制在了有 B300/H200 集群的团队。二是模型卡的安全章节提到,它对 CBRN、网络攻击、失控类风险的评估”明显低于前沿能力”,同时做了多轮开放红队测试来查谄媚、有害操纵、妄想验证这类问题——多模态模型的安全行为在文本和图像之间是否一致,是它专门测过的一项。三是 INK 系列的开源许可是 Apache 2.0,但另有一份可接受使用政策单独约束用途,商用前值得读一遍。

对正在选”能自己微调的多模态底座”的团队,这是一个明确的分档选项:要单卡跑,看别的;要 1M 上下文、要企业流程类 Agent 能力、手上正好有 B300/H200 集群,它值得进候选名单。

模型地址:https://huggingface.co/thinkingmachines/Inkling-2-Small

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯