
31B 多模态 Gemma 4 压进 19.7GB:一张 24GB 卡跑起看图加 256K 上下文
有人把 31B 稠密多模态 Gemma 4 做成完整 GGUF 量化梯度,Q4_K_M 只有 18.8GB,加上 0.9GB 视觉投影层,单张 24GB 消费级显卡就能在本地读文档、看截图、查图表。
相关标签
一张 24GB 的消费级显卡,过去最多跑到 13B 级别的多模态模型;现在有人把 Google DeepMind 的 31B 稠密多模态 Gemma 4 做成完整 GGUF 量化梯度,最小的可用组合只要 19.7GB——刚好塞得进去。
它是什么
mradermacher/gemma-4-31B-it-ARA-heretic-GGUF 是一份纯权重的静态量化包,不含新训练。上游 richardyoung/gemma-4-31B-it-ARA-heretic 的底座是 google/gemma-4-31B-it:30.7B 参数的稠密模型,60 层,词表 262K,上下文 256K token,外挂约 550M 参数的视觉编码器。
它的输入是文本与图片,输出是文本,两者可以在同一个 prompt 里任意交错。图片支持可变长宽比与分辨率,因此截图、扫描件、表格、竖版海报都不必先裁剪归一化。模型内置 thinking 模式(可开关、可调用 function calling),官方给出的能力清单里,图像侧覆盖文档/PDF 解析、屏幕与 UI 理解、图表读数、多语言 OCR、手写识别与指向定位。
能力数据来自 Gemma 4 官方评测:MMLU Pro 85.2%、AIME 2026 无工具 89.2%、LiveCodeBench v6 80.0%、GPQA Diamond 84.3%、MMMU Pro 76.9%、MATH-Vision 85.6%,OmniDocBench 1.5 平均编辑距离 0.131,128K 长材料 8 针检索(MRCR v2)66.4%。放在 30B 级开源里,这是一条相当完整的曲线。
量化的价值在”能装下”
这份仓库真正的贡献是把它压到本地可跑,档位排得很密:
| 量化 | 体积 | 备注 |
|---|---|---|
| Q2_K | 12.0 GB | 极限压缩 |
| Q3_K_S | 13.9 GB | |
| IQ4_XS | 17.0 GB | 同体积通常优于非 IQ |
| Q4_K_S / Q4_K_M | 17.9 / 18.8 GB | 作者标注 fast, recommended |
| Q5_K_M | 21.9 GB | |
| Q6_K | 25.3 GB | very good quality |
| Q8_0 | 32.7 GB | best quality |
多模态不能只下主权重,还要配视觉投影层 mmproj:Q8_0 版 0.9GB、f16 版 1.3GB。Q4_K_M 加 mmproj-Q8_0 合计约 19.7GB,这正是一张 24GB 卡的甜点位;如果只有 16GB 显存,IQ4_XS 配 Q8_0 投影层约 17.9GB,需要把部分层卸载到内存,速度会明显下降。
另有一个 -i1-GGUF 的 imatrix 加权版本单独发布。作者的说明是:IQ 系列量化在相近体积下通常比同尺寸的非 IQ 量化更好,这也是社区里比较一致的结论。
模型卡上少见的透明
上游模型做过 Arbitrary-Rank Ablation(ARA)改造,用 Heretic v2.0.0 在第 21 到 56 层做定向消融,目标是削弱拒答倾向。模型卡把参数全部列出(start_layer 21、end_layer 56、preserve_good_behavior_weight 0.2982、steer_bad_behavior_weight 0.0010、overcorrect_relative_weight 0.9045、neighbor_count 13),并给出代价:100 条测试提示的拒答数从 99 降到 28,KL 散度 0.0845。仓库还带 reproduce/ 目录,参数可复现。
对工程团队来说,这意味着两件事:第一,这类权重改造不再是黑箱,代价有数字可查;第二,拒答边界被显著削弱后,内容安全必须由部署方自己在应用层做审核与拦截,直接对外提供服务存在合规风险。要用于面向公众的产品,建议把它当作”理解能力强但无内置护栏”的组件来对待。
适合谁
适合已经有 24GB 单卡、想在本机做文档抽取、截图问答、图文报告摘要、长材料归并的团队——数据不出内网是这类场景的核心诉求。启动时用 llama.cpp 或 Ollama 加载主权重,并显式指定 mmproj 才能处理图片;只跑纯文本时可以不加载投影层,省下近 1GB 显存。
如果任务只涉及纯文本,31B 稠密模型并不是最优解;它的卖点恰恰是那套视觉编码器加上 256K 上下文同时在线。
模型地址:https://huggingface.co/mradermacher/gemma-4-31B-it-ARA-heretic-GGUF
更多资讯
想看更多优质内容?
浏览所有资讯