
一张照片配一段语音说 10 分钟不崩:美团开源 LongCat-Video-Avatar 1.6,人评压过 HeyGen
美团 LongCat 开源音频驱动数字人视频框架 1.6:一张照片加一段语音生成口型自然的说话人视频,自回归续写超 10 分钟不崩,33,051 票人类偏好评测排第二、高于 HeyGen 与 Kling Avatar 2.0。
相关标签
一张照片配一段语音说 10 分钟不崩:美团开源 LongCat-Video-Avatar 1.6,人评压过 HeyGen
开源数字人阵营又向前挪了一大步。美团 LongCat 团队发布 LongCat-Video-Avatar 1.6,在 33,051 张有效投票的人类偏好评测中,这个 MIT 协议开源的模型排在六个系统里的第二位——仅次于字节跳动的闭源产品 OmniHuman-2.0,而 HeyGen、OmniHuman-1.5 和快手 Kling Avatar 2.0 都排在了它后面。
它是做什么的:LongCat-Video-Avatar 1.6 是音频驱动的数字人视频生成框架。输入一段人声音频,加上一段文本提示或一张人物照片,输出口型与语音同步、面部与肢体动作协调的说话人视频。支持单人和多角色两种动画模式,还提供视频续写工作流——前一段生成完毕后,模型以自回归方式接着往下生成。典型用途是虚拟主播、口播视频、有声书配画面这类”让静态人物开口说话”的内容生产。
这版升级修的是三个老毛病。一是嘴部动作:1.5 版常见的夸张或发紧的口型、过红的唇色、嘴部区域的时域抖动,这一版做了抑制;二是长视频崩坏:自回归续写会累积误差,画面越往后越走样,1.6 通过缓解误差累积,可以生成超过 10 分钟、保持画质与身份一致性的视频;三是推理速度,管线与模型执行层面做了端到端优化。
评测方法值得一提:官方没有只放榜单数字,而是做了 15 组两两对比的全配对人类偏好测试,按 Bradley–Terry 计算出 Elo 1068.1,并把完整排名(包括输给谁)公布在模型卡里。开源模型在人类主观评价上直接对垒头部商用产品并拿到第二名,这在数字人赛道并不常见。
上手与部署:架构沿用 1.5,基座为 LongCat-Video 视频生成底座,附带 DMD 与 OPSD 两个任务 LoRA——默认配置前四步去噪用 DMD、后四步用 OPSD,可用 –mix_steps 和 –mix_alpha 调节混合比例。显存吃紧时可选 INT8 权重或 FP8 量化(二选一不可同开);Hopper 系显卡(H20/H100/H200/H800)可启用 FlashAttention-3 提速;多卡推理时开启 All-to-All workspace 并设置上下文并行度即可横向扩展。权重在 HuggingFace 与 ModelScope 同步提供,MIT 许可。
对内容团队来说,10 分钟不崩意味着一条完整口播视频可以一次生成而不必逐段拼接;对开源社区来说,这份排名说明闭源产品的领先窗口正在收窄。
模型地址:https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.6
更多资讯
想看更多优质内容?
浏览所有资讯