7.72TB 的「numbat」上了 HF：自称 Anthropic 未发布训练的中间权重

一个仓库名叫 numbat 的模型卡这两天在 HuggingFace 上被反复点开：14 万亿参数、772 个 safetensors 分片、合计 7.72TB，附完整参考实现，自称是 Anthropic 下一代 Mythos 级训练跑到一半被拉下来的权重。除了一堆自洽到反常的文件清单，它没给出任何可验证的来源。

它是什么：一份不能直接聊天的权重

按仓库自述，这是一个因果语言模型的预训练中间产物：约 14T 参数、114 层，架构是混合 Gated DeltaNet（GDN）+ Multi-head Latent Attention（MLA），前馈层用 MoE——1,224 个专家，每次激活 top-48 加 1 个共享专家，权重以 NVFP4 格式存储。

它不是拿来对话的。上传者在 FAQ 里写得很直接：这是总长约 1.96M 步训练里的第 1,830,000 步 checkpoint，没有任何后训练、没有 RLHF，输出就是原始预训练续写——”这是预期内的”。真要能用，得自己往后接 SFT 和偏好对齐。

它给的对象也很明确：想验证这套混合架构、或者想检查张量能不能完整加载的研究者。仓库附了 configuration_numbat.py 与 modeling_numbat.py，前者定义 NumbatConfig，后者是 NumbatForCausalLM 的参考实现——forward 跑主干，draft 跑 MTP 层。上传者称模块树为每个分片的每个张量都留了准确的位置，因此可以 load_state_dict(strict=True) 完整加载，也能通过 trust_remote_code=True 走 AutoModelForCausalLM。

那些可以核对的部分

抛开”这是不是 Anthropic 的”这个问题，文件层面的信息是可查的：

• 772 个分片，model.safetensors.index.json 里 metadata.total_size 为 7,720,300,817,720 字节，约 7.72TB；单片控制在 10.6GB 以内。
• 随手拿第一个分片验证，safe_open 能读出 142 个张量键。
• tokenizer 是 byte-level BPE，词表 131,072。
• 附带 ckpt_metadata.json（含 checkpoint 路径与 eval harness 输出）和 training_log_tail.txt（最后约 400 步训练日志）。
• 上传者称每个 NVFP4 四元组都能精确往返、E4M3 缩放块在 RTNE 边界内解码、块缩放不会下溢——这些是量化格式本身的健全性检查，不是”来源真实性”的证明。

顺带解释了一个技术疑问：为什么训练中间态要以 NVFP4 存？他的说法是评估团队会把每个异步 checkpoint 量化后丢到一小片 Trainium2 上跑评测，而不是占用整个训练集群——”光装下这些权重就要大约 85 台”。

故事讲得太完整，反而该警惕

仓库名 numbat 的来历，上传者给的解释是：2026 年 3 月 Claude Code 源码泄漏时，prompts.ts 里有一行注释写着”Remove this section when we launch numbat”。他把这当作”numbat 是 Anthropic 未发布模型代号”的证据，再加上”架构符合下一代 Mythos 级训练的预期”、”每个张量都自洽”，构成三层论证。

问题在于三层都不是独立证据：注释可以从任何地方抄，架构预期是主观判断，张量自洽只能证明文件是完好的——而任何人只要有能力生成 7.72TB 的合法张量，就能让它自洽。FAQ 里对”你怎么拿到的”只有一个回答：”除了仓库里已有的，我不能说得更多。”

所以这条新闻的落点不该是”Anthropic 被偷了”，而是模型卡的可信度边界在哪。一个仓库可以用完整的实现、自洽的索引、带情绪的故事拿到几百个 likes，而社区没有任何机制去验证它从哪来。对读者来说，最实际的动作是把它当成一份”待验证的架构样本”：想要证据就去看张量本身，别去看叙事。

最后一句提醒：7.72TB 的 NVFP4 权重，不是下载下来就能跑的东西。哪怕只做加载验证，也要先准备好足够大的存储和能装下它的一小片加速器。

模型地址：https://huggingface.co/burner22/numbat