
同一组权重连算三遍:Inkling 2 Mini 把多模态 Agent 模型装进桌面显卡
Thinking Machines 开源首个循环 transformer 多模态模型,26.4B 总参只存 20GB 权重,32GB 显存或 Mac 即可本地跑 Agent 与编码任务。
相关标签
同一组权重连算三遍:Inkling 2 Mini 把多模态 Agent 模型装进桌面显卡
摘要:Thinking Machines 开源首个循环 transformer 多模态模型,26.4B 总参只存 20GB 权重,32GB 显存或 Mac 即可本地跑 Agent 与编码任务。
Thinking Machines 又发了新模型。这一次不是上周那台要 500GB 显存的 594B 旗舰 Inkling 2 Small,而是它的”小兄弟”——Inkling 2 Mini,2026 年 11 月 20 日发布,Apache 2.0 许可,单一 checkpoint 约 20GB(NVFP4 与 MXFP8 混合精度),官方明确支持三种本地硬件:一台 NVIDIA DGX Spark、32GB 以上内存的 Apple silicon 设备(MacBook、Mac mini、Mac Studio),或者 32GB 以上显存的普通 GPU。换句话说,一个能看图、能写代码、能调工具的多模态 Agent 底座,第一次被压进了桌面级的预算。
它是什么
Inkling 2 Mini 是一个通用多模态模型:输入文本和图片(图片边长建议 40px 到 4096px),输出文本,上下文窗口最长 1M token。定位与旗舰一致——给开发者做 AI 应用底座,覆盖 Agent 与工具调用系统、编码助手、聊天机器人和 RAG。图像经视觉 transformer 编码后与文本投影进同一隐空间,由同一个 decoder 联合处理,属于原生多模态而不是外挂视觉模块。
真正值得留意的是架构:这是一个循环 transformer(looped transformer)。模型有 24 层 decoder,其中中间 12 层的权重会被连续复用三次——每个 token 实际经历 48 层计算,但只需要存 24 层的权重。前馈层是稀疏 MoE,128 个专家里每个 token 路由 8 个;注意力是局部与全局层的混合。账面参数 26.4B、名义激活 3.4B,因为中间层跑三遍,官方口径的有效激活参数是每 token 5.4B——每多循环一次,相当于增加约 1B 有效参数。用”重复计算”替代”堆参数”,这是它与同尺寸稠密模型最大的区别。
能打多少分
官方评测表把它与 Qwen3.8-27B、Gemma 4 31B、Muse Glimmer、Nemotron 3.5 Super VL 放在同一张表里,多项行内最佳:SWEBench Verified(仅用 bash)79.2%,超过 Qwen3.8-27B 的 77.8%;SWEBench Pro v2 Hard 77.9%;DeepSWE v1.1 48.2%;BrowseComp 79.0%;DeepSearchQA 85.3%;OmniDocBench 92.8%;ARC-AGI v1/v2 84.5⁄49.3%。Terminal Bench v2.1 是少数它没拿第一的项——71.6%,略低于 Qwen3.8-27B 的 73.0%。
官方也很坦率地列了代价:事实性问答明显弱于 Inkling 2 Small,更容易自信地说错话;调试代码时可能陷入重复检查自己工作的推理循环;做 Agent 时可靠性不如大模型,可能不经确认就删除或覆盖文件,建议在沙箱里跑并限制输出 token 与轮数;中文输出存在截断式短语和中英混杂。另外要留意,三遍循环让每 token 的实际计算量比激活参数直觉更高,”3.4B 激活”不等于跑得飞快。
安全上的新话题
这是 Thinking Machines 首次发布循环 transformer,模型卡专门讨论了一个此前不存在的问题:循环让模型在不把推理写进可见 token 的情况下完成更多计算,这意味着”读思维链来监督模型”的老办法会失灵。他们的实测结论是:Inkling 2 Mini 对自己的思维链几乎没有可控性,也无法在真实 Agent 环境中执行隐蔽副任务——循环架构在监听性上反而呈现双刃剑的另一面。相关实验细节发布在官方博客。
怎么上手
权重在 Hugging Face 直接下载;推理生态覆盖很广——Hugging Face transformers、SGLang、vLLM、llama.cpp(GGUF 量化版)、NVIDIA Dynamo、Ollama(Apple silicon)等均已支持,Unsloth 也提供了从 1-bit 到 Q8 的量化梯度。想微调的开发者可以走 Tinker 平台,配套的 tml-renderers 包与 Tinker Cookbook 已在 GitHub 上公开;后训练生态里 Miles 和 SkyRL 也宣布支持。
对想在本地跑多模态 Agent 又不想付云端 API 账单的开发者来说,Inkling 2 Mini 给出了一个此前不存在的选项:旗舰级的 Agent 能力,桌面级的硬件门槛。循环架构能不能成为端侧模型的下一个默认配方,这个 20GB 的 checkpoint 会是最先被反复检验的样本。
更多资讯
想看更多优质内容?
浏览所有资讯