一张照片量出每个像素的真实距离:苹果开源 Depth Pro 2,视频深度逐帧不抖

一张照片量出每个像素的真实距离:苹果开源 Depth Pro 2,视频深度逐帧不抖

昨天
duguying
4 阅读
来源:HuggingFace

苹果 ML 研究团队发布 Depth Pro 2,单目输出米制度深度图,边缘锐利、帧间稳定,四档尺寸从 97MB 到 3.5GB,论文与代码同步公开。

相关标签

#HuggingFace#人工智能#计算机视觉#深度估计#开源

一张照片量出每个像素的真实距离:苹果开源 Depth Pro 2,视频深度逐帧不抖

摘要:苹果 ML 研究团队发布 Depth Pro 2,单目输出米制度深度图,边缘锐利、帧间稳定,四档尺寸从 97MB 到 3.5GB,论文与代码同步公开。

让计算机从一张普通照片里知道”每个像素离镜头多远”,是计算机视觉里最老的难题之一。苹果机器学习研究团队这次给出的答案是 Depth Pro 2:一个只靠单目摄像头的度量深度估计模型——不需要双目相机、不需要激光雷达,输入一张照片、一段视频甚至实时画面,输出每个像素以”米”为单位的真实距离,而且按输入的原始分辨率逐像素计算。论文(arXiv 2611.26603)、项目页和推理代码已同步公开,权重也已上架 Hugging Face。

它是什么

任务类型是单目度量深度估计(metric monocular depth estimation):输入是普通相机拍下的单帧照片、逐帧视频或实时视频流,输出是与输入同尺寸的深度图——一个 (H, W) 的矩阵,每个位置存一个以米为单位的数字,天空等无穷远处的深度直接置为无穷大。这里的关键词是”度量”(metric):不是只给出”近处比远处近”的相对关系,而是实打实的物理距离,这正是机器人导航、AR 叠加、3D 重建这类应用真正需要的东西。

照片没记下焦距也没关系。四个尺寸共享一个独立的焦距估计器 DepthPro2-focal(23.5M 参数、94MB),加载任意主模型时一并载入,焦距未知时自动预测。

方法上,多视角 transformer 联合处理一帧或多帧输入,在 block 的前三分之一之后,注意力在”帧内”与”跨帧”之间交替进行;每帧由一个 DPT 解码器从多个 block 的 token 拼出 1⁄32 到 1⁄4 分辨率的特征图,最终预测逆深度图。多帧联合处理是视频逐帧稳定的基础——这也是 Depth Pro 2 相对一代的核心改进点。

官方强调的两个卖点是”边缘锐利”和”帧间稳定”:物体边界的深度过渡不糊成一片,视频里连续两帧之间深度不闪跳。在 Sintel 与 Spring 数据集上的评测中,它的边界 F1(Boundary F1)与时序抖动(Jitter)两项指标同时优于以往的单帧与多帧方法——此前这两项往往顾此失彼,逐帧平滑的方法边缘糊,逐帧锐利的方法抖得厉害。

四个尺寸按需选

Depth Pro 2 这次没有只放一个旗舰:S 版 24M 参数、下载 97MB;B 版 97M 参数、386MB;L 版 334M 参数、1.3GB;H+ 版 872M 参数、3.5GB。官方的说法很直接:大尺寸深度更锐、更稳,小尺寸跑得更快。这个梯度意味着从手机端到工作站都有合适的档位——97MB 的 S 版对端侧推理框架相当友好,3.5GB 的 H+ 版在消费级显卡上也毫无压力。

上手方式是 pip 直接装 GitHub 仓库(apple-aiml-research/ml-depth-pro-2),几行代码即可对照片推理;视频按 16 帧一组逐帧预测,仓库里还提供了命令行和实时视频流的示例。Hugging Face 上也挂了交互式 demo。

要说限制,最实际的一条是许可:权重采用 Apple ML Research Model license,仅限非商业的科研与学术用途——想做产品的团队需要另行考虑授权。另外作为单目方法,它对场景尺度先验的依赖依然存在,极端场景下的绝对精度仍需按论文口径自行验证。

在”给世界建模”这件事上,深度是比分割和检测更底层的一层。Depth Pro 2 把”像素级真距离 + 视频级稳定”塞进了 97MB 到 3.5GB 的四个档位,端侧感知这条赛道,苹果这次交出的不只是模型,还有一个完整的部署梯度。

模型地址:https://huggingface.co/apple/DepthPro2

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯