31B 多模态 Gemma 4 压进 19.7GB:一张 24GB 卡跑起看图加 256K 上下文

31B 多模态 Gemma 4 压进 19.7GB:一张 24GB 卡跑起看图加 256K 上下文

1周前
duguying
4 阅读
来源:HuggingFace

有人把 31B 稠密多模态 Gemma 4 做成完整 GGUF 量化梯度,Q4_K_M 只有 18.8GB,加上 0.9GB 视觉投影层,单张 24GB 消费级显卡就能在本地读文档、看截图、查图表。

相关标签

#HuggingFace#人工智能#多模态#GGUF#本地部署

一张 24GB 的消费级显卡,过去最多跑到 13B 级别的多模态模型;现在有人把 Google DeepMind 的 31B 稠密多模态 Gemma 4 做成完整 GGUF 量化梯度,最小的可用组合只要 19.7GB——刚好塞得进去。

它是什么

mradermacher/gemma-4-31B-it-ARA-heretic-GGUF 是一份纯权重的静态量化包,不含新训练。上游 richardyoung/gemma-4-31B-it-ARA-heretic 的底座是 google/gemma-4-31B-it:30.7B 参数的稠密模型,60 层,词表 262K,上下文 256K token,外挂约 550M 参数的视觉编码器。

它的输入是文本与图片,输出是文本,两者可以在同一个 prompt 里任意交错。图片支持可变长宽比与分辨率,因此截图、扫描件、表格、竖版海报都不必先裁剪归一化。模型内置 thinking 模式(可开关、可调用 function calling),官方给出的能力清单里,图像侧覆盖文档/PDF 解析、屏幕与 UI 理解、图表读数、多语言 OCR、手写识别与指向定位。

能力数据来自 Gemma 4 官方评测:MMLU Pro 85.2%、AIME 2026 无工具 89.2%、LiveCodeBench v6 80.0%、GPQA Diamond 84.3%、MMMU Pro 76.9%、MATH-Vision 85.6%,OmniDocBench 1.5 平均编辑距离 0.131,128K 长材料 8 针检索(MRCR v2)66.4%。放在 30B 级开源里,这是一条相当完整的曲线。

量化的价值在”能装下”

这份仓库真正的贡献是把它压到本地可跑,档位排得很密:

量化 体积 备注
Q2_K 12.0 GB 极限压缩
Q3_K_S 13.9 GB
IQ4_XS 17.0 GB 同体积通常优于非 IQ
Q4_K_S / Q4_K_M 17.9 / 18.8 GB 作者标注 fast, recommended
Q5_K_M 21.9 GB
Q6_K 25.3 GB very good quality
Q8_0 32.7 GB best quality

多模态不能只下主权重,还要配视觉投影层 mmproj:Q8_0 版 0.9GB、f16 版 1.3GB。Q4_K_M 加 mmproj-Q8_0 合计约 19.7GB,这正是一张 24GB 卡的甜点位;如果只有 16GB 显存,IQ4_XS 配 Q8_0 投影层约 17.9GB,需要把部分层卸载到内存,速度会明显下降。

另有一个 -i1-GGUF 的 imatrix 加权版本单独发布。作者的说明是:IQ 系列量化在相近体积下通常比同尺寸的非 IQ 量化更好,这也是社区里比较一致的结论。

模型卡上少见的透明

上游模型做过 Arbitrary-Rank Ablation(ARA)改造,用 Heretic v2.0.0 在第 21 到 56 层做定向消融,目标是削弱拒答倾向。模型卡把参数全部列出(start_layer 21、end_layer 56、preserve_good_behavior_weight 0.2982、steer_bad_behavior_weight 0.0010、overcorrect_relative_weight 0.9045、neighbor_count 13),并给出代价:100 条测试提示的拒答数从 99 降到 28,KL 散度 0.0845。仓库还带 reproduce/ 目录,参数可复现。

对工程团队来说,这意味着两件事:第一,这类权重改造不再是黑箱,代价有数字可查;第二,拒答边界被显著削弱后,内容安全必须由部署方自己在应用层做审核与拦截,直接对外提供服务存在合规风险。要用于面向公众的产品,建议把它当作”理解能力强但无内置护栏”的组件来对待。

适合谁

适合已经有 24GB 单卡、想在本机做文档抽取、截图问答、图文报告摘要、长材料归并的团队——数据不出内网是这类场景的核心诉求。启动时用 llama.cpp 或 Ollama 加载主权重,并显式指定 mmproj 才能处理图片;只跑纯文本时可以不加载投影层,省下近 1GB 显存。

如果任务只涉及纯文本,31B 稠密模型并不是最优解;它的卖点恰恰是那套视觉编码器加上 256K 上下文同时在线。

模型地址:https://huggingface.co/mradermacher/gemma-4-31B-it-ARA-heretic-GGUF

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯