苹果查出视频生成一半时间浪费在解码:FastFrames 让 14B 模型 45 毫秒出一帧

苹果查出视频生成一半时间浪费在解码:FastFrames 让 14B 模型 45 毫秒出一帧

4天前
duguying
4 阅读
来源:HuggingFace

苹果开源 FastFrames:把被当成实现细节的 VAE 解码与 KV 缓存更新换掉,14B 视频模型 45 毫秒出一帧、8 张 B200 上每秒 22 帧,蒸馏链四个阶段 checkpoint 全部放出。

相关标签

#HuggingFace#人工智能#视频生成#苹果

视频生成的进度条一直是按”秒”走的:五秒片段,等几十秒到几分钟。苹果的 FastFrames 把单位换成了毫秒——14B 版本在 8 张 B200 上 45 毫秒出一帧,换算下来每秒 22 帧,而且它盯的不是离线出片,是实时交互。

它是做什么的

FastFrames 是一个快速自回归视频扩散模型家族,开源了两档:FastFrames-S(1.3B)和 FastFrames-L(14B)。输入一段文本提示,输出 832×480、81 帧、16fps 的短视频;”自回归 + 两步”是关键——它一帧接一帧往前推,每帧只走两次扩散去噪,所以生成过程可以被新的输入打断、改向,而不是等整段渲染完。

因为是自回归,它天然适合当交互式视觉的”引擎”:改一句提示、给一条相机轨迹,后面几帧就跟着变。苹果顺带放出了一个优化版 LingBot 1.3B,比官方模型快 16 倍,带流畅的相机条件控制,仓库里就有本地 demo。

提速的关键不是 DiT,是被忽略的两步

论文先做了件很朴素的事:把推理链路的每一段拆开计时。结论有点反直觉——被当成”实现细节”的 VAE 解码和 KV 缓存更新,加起来占端到端延迟的一半以上。

模型卡给了 FastFrames-S 单卡 480p、满 KV 缓存时的逐项耗时:

环节 次数 每次耗时 合计
DiT 推理 t=1000 1 16.1 ms 16.1 ms
DiT 推理 t=833 1 16.2 ms 16.2 ms
KV refinement 1 2.2 ms 2.2 ms
像素解码器 1 0.9 ms 0.9 ms
合计 35.4 ms(论文 36 ms)

可以看到真正”生成”的部分(两次 DiT)占 32.3 毫秒,剩下 3.1 毫秒全交给轻量化的 KV 修正网络和像素解码器。苹果的做法是质疑这两步的必要性,用轻量替代件换掉它们,而不是继续卷 DiT 的算子效率。

数字与定位

按论文摘要的口径:1.3B 版本单张 B200 上 36ms/帧,即 28 responses/s,画质与一个慢近 8 倍的 SOTA 模型持平;14B 版本在 8×B200 节点上 45ms/帧、22 RPS,视觉质量和真实感明显更好。两个版本都跑 480p——这是拿分辨率换延迟的明确取舍。

训练路线分两条。FastFrames-S 冻结已经训好的两步逐帧 Causal Forcing++ 生成器,只训周边网络;FastFrames-L 先把 Wan2.1-14B 蒸馏成两步因果模型,再照 S 的办法训像素解码器与 KV 修正网络。四个阶段的 checkpoint 全部放出:用 Wan2.1-14B 生成潜变量训出的因果教师、一致性蒸馏模型、DMD 蒸馏模型,以及最终的生成器 + 像素解码器 + KV 修正网络。也就是说,这条蒸馏链是可以照着复现的,不是只给一个终点。

谁适合用

适合做交互式视频应用和实时生成研究的人:相机可控的虚拟拍摄预览、物理条件约束的生成、需要”边调边看”的创作工具。仓库给了 latency profiling 脚本(evaluation/latency/benchmark.py)、T2V 生成脚本、VBench 复现路径和 LingBot demo 入口,环境要求是 Linux x86-64 + NVIDIA GPU + CUDA 12.8 驱动。

需要留意三点:一是 480p / 81 帧的规格决定了它是”预览级”而不是”成片级”;二是模型卡只给了 VBench 的复现指引(Table 1 的 Quality / Semantic / Total 在论文里),没在卡上直接列分数,想要具体数值得自己跑或读论文;三是许可分两类——LingBot-World v2 的代码与权重沿用上游 CC BY-NC-SA 4.0,FastFrames 其余代码走 Apple Sample Code License。

视频模型这一年都在比谁生成的片段更长、更真。FastFrames 提醒了另一件事:如果一个模型 45 毫秒就能出一帧,那”生成”这件事的使用方式会变——它不再是提交任务后等结果,而是像摄像头一样持续出画面。

模型地址:https://huggingface.co/apple/FastFrames-L

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯