
苹果查出视频生成一半时间浪费在解码:FastFrames 让 14B 模型 45 毫秒出一帧
苹果开源 FastFrames:把被当成实现细节的 VAE 解码与 KV 缓存更新换掉,14B 视频模型 45 毫秒出一帧、8 张 B200 上每秒 22 帧,蒸馏链四个阶段 checkpoint 全部放出。
相关标签
视频生成的进度条一直是按”秒”走的:五秒片段,等几十秒到几分钟。苹果的 FastFrames 把单位换成了毫秒——14B 版本在 8 张 B200 上 45 毫秒出一帧,换算下来每秒 22 帧,而且它盯的不是离线出片,是实时交互。
它是做什么的
FastFrames 是一个快速自回归视频扩散模型家族,开源了两档:FastFrames-S(1.3B)和 FastFrames-L(14B)。输入一段文本提示,输出 832×480、81 帧、16fps 的短视频;”自回归 + 两步”是关键——它一帧接一帧往前推,每帧只走两次扩散去噪,所以生成过程可以被新的输入打断、改向,而不是等整段渲染完。
因为是自回归,它天然适合当交互式视觉的”引擎”:改一句提示、给一条相机轨迹,后面几帧就跟着变。苹果顺带放出了一个优化版 LingBot 1.3B,比官方模型快 16 倍,带流畅的相机条件控制,仓库里就有本地 demo。
提速的关键不是 DiT,是被忽略的两步
论文先做了件很朴素的事:把推理链路的每一段拆开计时。结论有点反直觉——被当成”实现细节”的 VAE 解码和 KV 缓存更新,加起来占端到端延迟的一半以上。
模型卡给了 FastFrames-S 单卡 480p、满 KV 缓存时的逐项耗时:
| 环节 | 次数 | 每次耗时 | 合计 |
|---|---|---|---|
| DiT 推理 t=1000 | 1 | 16.1 ms | 16.1 ms |
| DiT 推理 t=833 | 1 | 16.2 ms | 16.2 ms |
| KV refinement | 1 | 2.2 ms | 2.2 ms |
| 像素解码器 | 1 | 0.9 ms | 0.9 ms |
| 合计 | 35.4 ms(论文 36 ms) |
可以看到真正”生成”的部分(两次 DiT)占 32.3 毫秒,剩下 3.1 毫秒全交给轻量化的 KV 修正网络和像素解码器。苹果的做法是质疑这两步的必要性,用轻量替代件换掉它们,而不是继续卷 DiT 的算子效率。
数字与定位
按论文摘要的口径:1.3B 版本单张 B200 上 36ms/帧,即 28 responses/s,画质与一个慢近 8 倍的 SOTA 模型持平;14B 版本在 8×B200 节点上 45ms/帧、22 RPS,视觉质量和真实感明显更好。两个版本都跑 480p——这是拿分辨率换延迟的明确取舍。
训练路线分两条。FastFrames-S 冻结已经训好的两步逐帧 Causal Forcing++ 生成器,只训周边网络;FastFrames-L 先把 Wan2.1-14B 蒸馏成两步因果模型,再照 S 的办法训像素解码器与 KV 修正网络。四个阶段的 checkpoint 全部放出:用 Wan2.1-14B 生成潜变量训出的因果教师、一致性蒸馏模型、DMD 蒸馏模型,以及最终的生成器 + 像素解码器 + KV 修正网络。也就是说,这条蒸馏链是可以照着复现的,不是只给一个终点。
谁适合用
适合做交互式视频应用和实时生成研究的人:相机可控的虚拟拍摄预览、物理条件约束的生成、需要”边调边看”的创作工具。仓库给了 latency profiling 脚本(evaluation/latency/benchmark.py)、T2V 生成脚本、VBench 复现路径和 LingBot demo 入口,环境要求是 Linux x86-64 + NVIDIA GPU + CUDA 12.8 驱动。
需要留意三点:一是 480p / 81 帧的规格决定了它是”预览级”而不是”成片级”;二是模型卡只给了 VBench 的复现指引(Table 1 的 Quality / Semantic / Total 在论文里),没在卡上直接列分数,想要具体数值得自己跑或读论文;三是许可分两类——LingBot-World v2 的代码与权重沿用上游 CC BY-NC-SA 4.0,FastFrames 其余代码走 Apple Sample Code License。
视频模型这一年都在比谁生成的片段更长、更真。FastFrames 提醒了另一件事:如果一个模型 45 毫秒就能出一帧,那”生成”这件事的使用方式会变——它不再是提交任务后等结果,而是像摄像头一样持续出画面。
更多资讯
想看更多优质内容?
浏览所有资讯