
量化版反而更会干活:NVIDIA 把 Gemma 4B 练成会调工具的本地小模型
NVIDIA 基于 Gemma-4-E4B 后训练的端侧 SLM:8B 总参只激活 4B,Q4 量化版约 4GB,RoleBench 71.21、RelyToolBench 69.29,多轮工具调用面向本地助手。
相关标签
量化版反而更会干活:NVIDIA 把 Gemma 4B 练成会调工具的本地小模型
本地跑助手类应用的瓶颈往往不在算力而在显存:7B 级模型的 FP16 权重动辄十几 GB,留给应用的余量所剩无几。NVIDIA 这次给出的方案是把谷歌的 Gemma-4-E4B-it 拿来做了深度后训练,推出 Nemotron-3.5-Bolt-E4B 系列,其中 Q4_K_M 量化版就是本次上榜的 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB——名字里的 4GB 说的就是它的体量档位。
它是做什么的
这是一个文本到文本的小语言模型(SLM),总参数 8B、有效激活 4B(Gemma 4 的 MoE 结构),上下文 64K,面向低内存、低首 token 延迟的场景:本地语音/设备助手、交互式人设、嵌入式界面。NVIDIA 用 GRPO 在多个环境里做了强化学习,覆盖指令跟随、多步工具调用、多轮对话与结构化输出,训练框架是其开源的 NeMo RL 与 NeMo Gym。对想在设备端跑 Agent 的人来说,它卖点是”多轮工具调用效率 + 快速响应 + 给应用留显存余量”。
值得注意的是,这与本站此前报道过的 Nemotron-3.5-Transcribe(30B 语音转写模型)属于同一 Nemotron 3.5 家族,但那是转写模型,本条是文本 SLM,模型与任务主体完全不同。
量化后分数反而更高
模型卡里的基准表有个反直觉现象:Q4_K_M 量化版在不少基准上超过了 BF16 全精度版。RoleBench 上量化版拿 71.21,BF16 版是 67.05,原版 Gemma4-E4B-it 量化后只有 60.51;MultiChallenge 量化版 55.60 对 BF16 的 53.10;IHEval 82.40、RAGTruth 77.88、RelyToolBench 69.29(同组 Gemma4 为 67.15,Qwen3.5-4B 仅 38.34)均为 Q4_K_M 组内最高。ToolSandbox 74.13 与 Qwen3.5-4B 的 74.51 基本打平。EF 全组评测由 NVIDIA 用统一 harness(NeMo Gym)测得,并声明可能与厂商自报数字有出入。
并非全面碾压:EQ-Bench v3 上原版 Gemma4-E4B-it 仍以 39.77 领先,长上下文基准 RULER(64K)Qwen3.5-4B 的 95.37 明显更高,Tau2-Bench 也是 Qwen 占优。NVIDIA 把这些数字全部公开,包括输掉的项。
上手方式
部署走 llama.cpp,仓库提供完整的 Quick Start 脚本;配套的 DFlash 投机解码草稿模型可以进一步压低生成延迟,另有 BF16 全精度版可选。思考模式通过 chat template 开关(enable_thinking),还支持运行时思考预算控制;独立的 conversational_mode 面向闲聊场景。语言覆盖中英日德法等 30 余种。
按 Nemotron 家族的惯例,权重、训练数据与配方一并开放(许可为 OpenMDW-1.1,可商用),技术报告与博客同步发布。对想在 4GB 级显存里塞进一个会调工具的本地助手的开发者,这是一个值得直接试的选项。
模型地址:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB
更多资讯
想看更多优质内容?
浏览所有资讯