51M 参数读完一张图:mirage 一次前向吐出框、掩码、文字和关系

51M 参数读完一张图:mirage 一次前向吐出框、掩码、文字和关系

1周前
duguying
4 阅读
来源:HuggingFace

Cactus Compute 把视觉感知压到 51.3M 参数、22 MB:一张图进去,一份带物体框、分割掩码、OCR、空间关系与选择题答案的 JSON 出来,手机 NPU 上 74 毫秒,推理则留给下游大模型。

相关标签

#HuggingFace#人工智能#计算机视觉#端侧模型

端侧视觉一直卡在一个尴尬的位置:大模型塞不进手机,小模型只会画框、不会解释。Cactus Compute 给出的 mirage 走的是第三条路——把一个 51.3M 参数的模型压到 22 MB,让它一次前向就把”这张图里有什么、文字写了什么、哪些东西挨着、该选哪个答案”全部算完,输出一份下游程序能直接读的 JSON。

先弄清它是什么

输入是一张图片(文件路径、编码后的字节、Pillow 对象或 RGB 数组都行),输出是结构化的记录,不是一段散文。这份记录分六层:

  • 场景:这是什么样的地方,光照、材质、背景如何;
  • 物体:名称、检测框、位置,以及颜色、形状、材质这类属性——名称由语言模型直接生成,不受检测器固定类别表的限制,所以能说出”红色的八角形标牌”而不只是”stop sign”;
  • 掩码:每个被描述物体的分割结果,可以要轮廓、要全部碎块、也可以要位图;
  • 文字:图中每段文字的内容、检测框和置信度,模型内部带一个文本读取器专门读这些裁片;
  • 关系与事件:哪个物体连在哪个上、桌上放着什么、画面里在发生什么动作,用引用指回结果里的物体;
  • 决策:从你给的标签里选一个、在区间里数一个数、填一段短文本,或者把某个框跟你选的物体绑定。

前五层拼起来就是一张小的场景图,作者把它叫”本体”(ontology):程序可以顺着”标牌→杆子”的关系走,也可以直接按属性筛出所有”红色”的物体。

用途很明确:手机、可穿戴、机器人、端侧 Agent 的感知层。它不做推理,只负责把像素变成记录;推理交给你已经在跑的那个 LLM。

22 MB 里装了什么

三星 Galaxy S26 的 NPU 上端到端 74 ms,退到 CPU 是 107 ms。这个速度来自几个设计选择叠加:

编码器是 512 px、5 阶段的卷积 stem,得到 16×16 的特征网格,接 16 个 body 块(门控 3×3 混合加 HConvGLU)和 12 个注意力块(GQA 加 HConvGLU),另有 4 个 register token 当临时工作区。HConvGLU 是这里的关键:固定 Walsh-Hadamard 变换夹住三个可学习的 65 通道带状卷积,每个卷积只存 512×65 个权重,比一个 512×512 的全矩阵少约 8 倍,但变换本身让所有通道仍然能互相作用。

检测头、掩码头和 CTC 文本读取器共用编码器特征。8 层解码器(Hadamard MLP、engram 查表、4 条 mHC 残差通道)不负责吐完整描述,只产生短引用,最终的 JSON 由引擎把描述、框、掩码、OCR 拼起来——这样解码器要生成的 token 数被压到很低。

量化方案也不是一律 2 bit:多数矩阵 2 bit,token embedding 和 mHC 路由矩阵留 4 bit,HConvGLU 的带保持 FP16。最终文件 21.6 MB。

用起来是什么样

import cactus

vision = cactus.Mirage()
result = vision.describe("photo.jpg")

如果只想要一部分,可以点名:

result = vision.describe(
    "photo.jpg",
    sections=["objects", "text"],
    fields=["bbox", "score", "mask"],
    mask_format="polygons",
)

框的坐标是 0–1000 的相对刻度;conf 和 text_conf 卡检测分下限,max_objects、max_text_lines、max_tokens 限输出规模,language="de" 之类的参数可以换描述语言(英、德、法、西、意、荷、波七种)。要它做决定,用 extract() 传一个枚举:

result = vision.extract("photo.jpg", {"sign": {"enum": ["stop", "yield", "speed limit"]}})
print(result["form"]["sign"])

返回的是选中的值加上各选项的概率。

拼装而不是替代

比较有诚意的一点是作者把”和 LLM 拼装”的实验也放出来了:把 mirage 的 JSON 连同问题交给 Qwen3-0.6B,在 128 张图的 256 道 VQAv2 验证题上拿到 31.3⁄100 的共识分;把记录换成另一张图的,掉到 22.2;删掉那段 reasoning trace 反而升到 33.1——也就是说,追查过程的文本对答题准确率没有可靠帮助。作者自己也写明这是”文本接口视觉”的小规模探索,Qwen 从没看过像素,mirage 记录里没写到的细节,它就不可能知道。

值得注意的地方

一是它对”读字”的诚实:官方示例里那张 COCO 231049 的停车标,OCR 把 ARRÉT 的重音符读错了,作者把这张错例直接放在主页上。二是 74 ms 这个数字跑在 NPU 上,同一套二进制的跨平台表现要看运行时仓库的支持列表,不是所有设备都有 NPU 加速。三是它的价值高度依赖你的下游怎么用——如果你的应用只需要”图里有没有猫”,它的输出是过量的;如果你要把画面变成可查询的数据结构,它省掉的是整条检测/分割/OCR 流水线的胶水代码。

和 Needle、Whistle 共用同一套运行时,意味着已经有 Cactus 引擎的项目可以直接把 mirage 的权重挂上去,三者的权重分别加载,互不干扰。

模型地址:https://huggingface.co/Cactus-Compute/mirage

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯