2.56 亿参数看视频:Hugging Face 的最小多模态模型只要 1.38GB 显存

2.56 亿参数看视频:Hugging Face 的最小多模态模型只要 1.38GB 显存

3天前
duguying
2 阅读
来源:HuggingFace

SmolVLM2-256M-Video-Instruct 用 2.56 亿参数做视频问答与描述,视频推理仅需 1.38GB 显存,Apache-2.0,适合端侧场景的领域微调。

相关标签

#HuggingFace#人工智能#多模态#视频理解#端侧

2.56 亿参数看视频:Hugging Face 的最小多模态模型只要 1.38GB 显存

视频理解的门槛通常以十亿参数计——主流开源视频多模态模型大多在 7B 以上,端侧设备很难染指。Hugging Face 官方的 SmolVLM2 家族把这个门槛拉到了另一个量级:家族最小号 SmolVLM2-256M-Video-Instruct 只有 2.56 亿参数,视频推理只需 1.38GB 显存。这个 2025 年 2 月发布的模型最近重新回到热门榜上,侧面说明端侧视频理解这个生态位的供给一直稀缺。

它是做什么的

这是一个多模态理解模型,任务类型是 image-text-to-text:输入视频、图片和文字问题,输出文字答案。具体能做的事包括:回答关于视频或图片的提问、对比多张画面、基于视觉内容讲故事、把图片里的文字转写出来。注意它只做理解不做生成——不能凭空生成图像或视频。

它适合谁:想在手机、嵌入式设备或低成本显卡上做视频相关应用(片段摘要、高光检测、视觉问答)的开发者,尤其是需要针对特定领域做微调、算力预算又有限小的团队。官方提供了微调教程 notebook 和一个 Video Highlight Generator 在线 demo。

家族数字

架构上 SmolVLM2 源自 Idefics3-8B-Llama3,家族从大到小有 2.2B、500M、256M 三档。模型卡给出的视频基准成绩:Video-MME / MLVU / MVBench 三项,2.2B 版为 52.1 / 55.2 / 46.27,500M 版 42.2 / 47.3 / 39.73,256M 版 33.7 / 40.6 / 32.7。这个梯级清晰地展示了参数量换能力的代价——256M 的成绩不算亮眼,但它换来了 1.38GB 显存的视频推理门槛,以及在这个体量下少有的视频理解能力。

使用方式

模型基于 transformers 加载:AutoModelForImageTextToText 配合 chat template,文本和媒体文件可以任意交错。图片推理开箱即用;视频推理需要额外安装 decord,把视频路径和问题一起传给 chat template 即可。官方建议安装最新版 transformers、num2words 与 flash-attn,以 bfloat16 加载。

官方在模型卡里明确划了红线:SmolVLM 不适用于影响个人福祉或生计的高风险场景,例如招聘、教育、信贷评估,也不适用于关键自动化决策——模型可能生成看似事实但并不准确的内容。

如果你正在找一个”能看视频、显存个位数、可以随便改”的底座,256M 这一档在开源世界里几乎没有对手;而它的回潮上榜也说明,这个小生态位的需求比想象中持久。

模型地址:https://huggingface.co/HuggingFaceTB/SmolVLM2-256M-Video-Instruct

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯