月之暗面开源 Kimi K3.1 Pro：2.8T 只激活 104B，百万 token 上下文

摘要：Kimi K3.1 Pro 是月之暗面首个以开放权重形式发布的 K3.1 系列模型，原生多模态、100 万 token 上下文，在数百个下游领域做联合强化学习后训练而来。

月之暗面（Moonshot AI）把 Kimi K3.1 Pro 的权重放了出来。这是 K3.1 系列中第一个开放权重的模型，官方在模型卡里的定位是”open-weight、原生多模态的 agentic 模型”，也是其迄今能力最强的 3T 级模型。

先把参数量摆出来：MoE 架构，总参数 2.8T，单次推理只激活 104B，共 93 层（其中 1 层为稠密层）。注意力部分的构成为 69 层 KDA 加 24 层 Gated DSA，注意力隐藏维度 7168、96 个注意力头。这套设计的直接收益之一是上下文窗口拉到了 100 万 token——整本书、整个代码库级别的输入可以一次性塞进去。

K3.1 Pro 从 Kimi K3 出发，在数百个下游领域做了大规模联合强化学习的后训练。官方列出的重点提升方向包括：编码、3D 创作、金融研究、事实准确性，以及各类 agentic 能力。换句话说，它不是在卷单项跑分，而是把”当 Agent 的底座”作为主要卖点——多轮工具调用、长程任务这类场景对事实准确性和长上下文的依赖，正好落在它的强化项上。

多模态是原生的，不是外挂的：任务类型为 image-text-to-text，图像和文本一起进、文本出。想上手的开发者有两条路：本地权重（transformers 格式，safetensors）或者平台侧的 API，官方的 API Quickstart 文档与技术博客已同步上线。

需要留意的是许可：Kimi K3.1 Pro 用的是自定义的 Kimi_K3.1_Pro 许可证，不是 Apache 2.0 那类宽松协议，商用前务必读一遍条款。模型在 HuggingFace 与 ModelScope 均可获取。

为什么要在意”激活 104B”这个数字？MoE 的算力开销跟着激活参数走，而显存占用跟着总参数走。2.8T 的总量意味着权重本身是一个庞大的存储与带宽问题，但每次前向只唤起 104B，实际推理成本接近一个百 B 级稠密模型——这是当下超大模型”能力按总参算、账单按激活算”的通用解法。代价是部署侧要解决专家并行的切分与通信，单机塞不下。

对开发者来说，这个模型的现实用法大致分两层：真有集群资源的，可以拉 transformers 格式的 safetensors 权重自建推理；绝大多数团队更现实的选择是走 platform.kimi.ai 的 API，把百万上下文当成一种”可以直接扔一整个仓库进去”的接口来用。前者换来完全可控与数据不出域，后者换来即开即用，取舍取决于合规与成本。

在开源权重阵营里，”总参 2.8T、激活 104B、百万上下文、原生多模态 Agent”这一组规格同时出现的模型目前屈指可数。它对本地部署的要求也相应提高——2.8T 的存量权重意味着这不是一张消费级显卡能碰的尺寸，真正的落地点仍在集群与云上推理。它和 DSA/KDA 这类新注意力机制能不能在长上下文任务上兑现预期，是接下来最值得盯的看点：百万上下文从来不缺”能塞进去”的宣称，缺的是塞进去之后仍然答得准。

模型地址：https://huggingface.co/moonshotai/Kimi-K3.1-Pro