开源只给了中间那一段:MiniMax H3 把决定画质的两个模块留在云端

开源只给了中间那一段:MiniMax H3 把决定画质的两个模块留在云端

6天前
duguying
7 阅读
来源:HuggingFace

MiniMax H3 的完整系统由 H3-Context-IR、H3-Base、H3-Regenerate-2K 三段组成,开源的只有中间那段 33B 生成主干;2K 靠把 768p 成片连同上下文重跑一遍而不是超分,本地部署能自主拿到 768p,想要 2K 必须回连官方 API。

相关标签

#HuggingFace#人工智能#视频生成#MiniMax

开源只给了中间那一段:MiniMax H3 把决定画质的两个模块留在云端

一个”开源视频模型”通常意味着你把仓库拉下来、把权重加载进去,就能得到和官网演示一样的片子。MiniMax H3 不是这样。它的完整系统由三个模块串成,开源的只有中间那一段。

它做什么

H3 是一个统一理解并生成多模态内容的系统:输入可以是文字、图片、视频、音频的任意组合,输出是带原生立体声的视频。任务类型标的是 image-text-to-video,实际覆盖三条线:纯文字出带声音的视频(t2va)、首帧或尾帧补间(fl2va)、多模态参考生成(ref2va)。

输出规格相当克制但完整:时长 4 到 15 秒,24 FPS,默认短边 768 像素,音频 32 kHz 立体声,画幅覆盖 21:9、16:9、4:3、1:1、3:4、9:16。对白稳定支持 11 种语言——阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语,其他语言”不同程度支持”。

三段里,只有一段在你手里

官方把系统拆得很干脆:

  • H3-Context-IR:负责读懂输入。它解析文字、图片、音频、参考视频之间的关系,判断这些素材和”想生成的片子”如何对应,内部要做指令解析、跨模态关联、时间理解和复杂逻辑推理,最后序列化成 H3 能直接吃的结构化表示——Context Intermediate Representation。官方特意强调”Context-IR 对最终输出质量至关重要”,并且明确说它依赖多阶段工作流和多个托管模型服务,不在这次开源范围内,只提供 API 复现官方行为。
  • H3-Base:按中间表示生成 768p 的音视频。这部分权重开源了,BF16,分 FL2VA 和 Ref2VA 两个任务 checkpoint。
  • H3-Regenerate-2K:把 768p 结果连同原始上下文一起再喂回 H3,重生成 2K 版本。同样没有开源,只给 API。

也就是说:本地部署能自主拿到 768p,想要 2K 就得回连官方接口。这条界线比参数规模更值得先看清。

2K 不是超分出来的

市面上多数高清方案是”低分辨率生成 + 超分网络放大”。H3 没用专用超分模块,而是让底座以 in-context 方式重跑自己的低分辨率结果。官方给的理由有两条:一是重生成能最大程度复用底座本身的生成能力,二是 in-context 格式可以把原始多模态上下文一起带进高清环节,从而恢复超分网络只能”猜”的信息——小字、细节纹理这类东西。官方把这个流程称为任务泛化的一个例子。

33B 里,约 13B 推理时可以不加载

H3-Omni-Transformer 是 33B 参数的稠密单流 Transformer,其中约 13B 位于 AdaLN 相关分支。关键在于 AdaLN 的调制输出可以预计算并缓存,所以纯推理部署不必加载这部分参数——官方放出完整权重是为了支持微调等进一步开发。

架构上刻意保持简单:注意力层和 FFN 都不含模态专属结构,模态专属参数只集中在输入输出层与 AdaLN 分支。位置编码用三维 MM-RoPE 表达时间与两个空间维度。

编码侧值得单独说一句:文本编码器直接用 Qwen3-VL-32B 的全量预训练权重,取第 50 层 hidden states;视觉走 H3-VisualVAE(时空压缩 f16t4d24、24 个 latent 通道,进 Transformer 前再按 1×2×2 patchify,等效 32× 空间降采样),并额外训练 ViT 解码器降低解码开销;音频走 H3-AudioVAE,左右声道用同一套编解码器独立处理再合成,把 32 kHz 音频压成 40 Hz 的 latent token——立体声是这条链路原生支持的,不是后配的。

另外,模型在训练末期引入了原生稀疏注意力来降低长序列开销,但初始开源版只提供 full attention 推理,稀疏实现会在后续更新里单独发布。

两个 checkpoint 与怎么跑

FL2VA 吃文字,可选首帧、尾帧或两者都给(不给图就是文生视频);Ref2VA 吃参考图最多 9 张、参考视频最多 3 段(每段 2–15 秒,总时长 ≤15 秒)、参考音频最多 3 段(同样约束),所有类型文件合计上限 12 个。

部署路径给得很全:SGLang(示例 4 卡,--ulysses-degree 4、--performance-mode speed,用 --model-variant fl2va 或 ref2va 分流)、vLLM、diffusers(ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3") 自动取所需组件)、ComfyUI(官方给了 R2V 和 T2V 模板)。仓库里原版 checkpoint 和 diffusers 格式并排放,下载时用 --include 限定范围即可。

许可走 MiniMax H3 Community License,美国、欧盟、英国、韩国需另填申请表。

为什么值得看

这一周 H3 的衍生品把趋势榜占了大半:官方图像分支、Comfy 的重打包、剪到 13.7B 的消费级视频版、各种 GGUF 量化——第三方先出圈、底座后上榜的次序又出现了一次。H3 底座本身的价值,不在于它是又一个视频模型,而在于它把”开源”的边界画得异常清楚:生成主干给你,输入理解和 2K 重生成留在服务侧。

对自建团队来说,这直接影响交付方式——768p 可以完全离线,2K 要联网。评估一个开源视频模型时,”哪一段不在本地”这件事,现在比”参数多大”更能决定它能不能进你的流水线。

模型地址:https://huggingface.co/MiniMaxAI/MiniMax-H3

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯