
把视频解码器从流水线里删掉:pi-H3 两步采样 3.8 秒出 5 秒 768p 视频
斯坦福团队给 MiniMax H3 放出 2/4 步蒸馏适配器,最后一步直接预测像素、整段跳过 VAE 解码器,单张 B200 上 5 秒 768p 带音频视频端到端 3.8 秒生成。
相关标签
把视频解码器从流水线里删掉:pi-H3 两步采样 3.8 秒出 5 秒 768p 视频
视频生成的加速竞赛又多了一种打法:不是把模型剪小,也不是换个更轻的解码器,而是干脆让解码器从流水线里消失。斯坦福大学团队(Hansheng Chen、Shengqu Cai、Gordon Wetzstein、Leonidas Guibas 等,部分工作完成于 Luma AI 实习期间)在 Hugging Face 放出 pi-H3——给 MiniMax H3 视频模型做的 2 步和 4 步蒸馏适配器,官方博客给出的实测里,单张 B200 生成 5 秒 768p 高清视频(含立体声音频)端到端只要 3.8 秒,比视频本身播放得还快。
它是做什么的
pi-H3 不改变 H3 底座的权重,它是一组”适配器”:装上之后,原本需要多步采样、再经 VAE 解码器还原像素的 H3,变成 2 步或 4 步采样直接出结果。输入是文本提示,或者首帧、尾帧图片(支持首尾帧同时给定);输出是 768×1344、24fps、带同步立体声的视频文件——README 的示例里,243 帧正好对应 10 秒时长。对已经在用 H3 工作流的用户来说,换上适配器接口不变,等待时间直接砍掉一个量级。
两处关键改动
第一处是步数。pi-H3 用 pi-Flow v2 少步蒸馏,把去噪采样从常规的几十步压到 2 步或 4 步。
第二处更激进,叫 DWD(Decoding Without a Decoder,论文 arXiv 2611.22287):在最后一步去噪时,直接从去噪器的特征预测像素,VAE 解码器整段跳过。这里有个技术障碍——H3 的每个 token 覆盖 4×32×32×3 共 12288 个像素值,是 DiT 隐藏维度 5376 的两倍多,只用线性头出图画面会发糊。1.0 版的解法是加一个带窗口注意力的 transformer refiner,复用了 Sol-H3-VAE 解码器 24 个模块中的 8 个,端到端调优,依然远轻于完整解码器。
速度账本
官方博客把端到端延迟(文本编码、全部去噪步、像素输出、RGB 转换、音频解码都算在内,7 次请求取中位数)与 Sol-H3 官方论文数字对比:
- 5 秒 768p:2 步 3.81 秒、4 步 7.30 秒,Sol-H3 4 步 9.48 秒;
- 10 秒:2 步 9.16 秒、4 步 17.56 秒,Sol-H3 24.31 秒;
- 15 秒:2 步 18.58 秒、4 步 36.41 秒,Sol-H3 44.96 秒。
换算下来,2 步比 Sol-H3 快 2.4 到 2.7 倍,4 步也有 1.2 到 1.4 倍。加速来自三处叠加:步数减少、解码器删除、FP8 W8A8 量化(DiT 全部块与文本编码器量化,AdaLN 与输出层保持 BF16)。H100 上的分解数据也印证了解码器省下的部分:14 秒 768p 视频下,普通 VAE 解码要 11 秒以上,DWD 则把这段归零。
怎么用
权重与推理代码已随 1.0 版(11 月 21 日)开放:diffusers 路线装 LakonLab v0.3,ComfyUI 用户走 ComfyUI-piFlow 扩展(有 INT8 ConvRot 版本),不想装环境可以直接玩 Hugging Face 上的 Spaces demo。0.9 版 demo 于 11 月 10 日先行上线,1.0 在细节运动和 2 步一致性上有改进,训练代码还在整理中。适配器以 MiniMax H3 Community License 分发,属 H3 的模型衍生品。
值得一提的是,H3 开源以来衍生路线已经各占一个方向:hyperflow 走剪枝,Sulphur-3 走 RL 微调改行为,pi-H3 走蒸馏加速。pi-H3 的”免解码器”思路如果被更多视频模型采用,VAE 解码器这个曾被视为必需件的模块,可能不再是流水线里的固定座位。
更多资讯
想看更多优质内容?
浏览所有资讯