
753B 砍到 563B:删掉四分之一专家后,GLM-5.3 终于塞进一张 B200
不动量化位宽,改用 NAS 选出的 192 专家架构:GLM-5.3-SLIM 把权重从 238.6 GB 压到 179.9 GB,一张 B200 或 192 GB 的 Mac Studio 就能跑,HumanEval 仍有 92.7%。
相关标签
过去两年的量化竞赛只有一条主线:把比特压低。IQ2、IQ1 一路往下,直到模型开始胡说。GLM-5.3-SLIM-GGUF 换了个方向——位宽不动,直接删专家:每个 MoE 层砍掉 64 个路由专家,把 753B 压成 563B,体积从 238.6 GB 降到 179.86 GB。结果是这张 GLM-5.3 级权重第一次能完整装进一块 B200。
先弄清它是什么
它不是新训练的模型,而是一份能在一台机器上跑起来的 GLM-5.3 权重。输入文本 prompt,输出文本(对话、代码、推理),用 llama.cpp 加载。
要解决的痛点很具体:官方 GLM-5.3 的 256 专家版本经 Unsloth 量化到 UD-IQ2_M 后是 238.6 GB,单张 B200(183,359 MiB)装不下,192 GB 统一内存的 Mac Studio 也装不下。SLIM 版把体积削掉 24.6%,于是两种单机形态都成立了——一张 B200,或一台 192 GB 的 Mac Studio 配 mlx-serve。
删哪些专家不是拍脑袋。架构来自 GLM-5.3-SLIM-E192 背后的神经架构搜索(NAS):搜索决定每个 MoE 层(第 3 到 77 层)保留原 256 个路由专家中的哪 192 个,另外 64 个直接移除。参数量因此从 753B 降到 563B,MTP 预测层(blk.78)也一并去掉——所以这一版不能用 MTP 投机解码。
为什么能”删了不坏”
关键在于 GGUF 的内存布局。在 GGUF 里,专家轴是 ffn_{gate,up,down}_exps、ffn_gate_inp、exp_probs_b 这些张量最慢的维度,也就是说每个专家天然是一段连续字节。于是保留专家不需要重新量化:把选中的 192 个专家按原顺序逐字节搬到位置 0–191 即可,每个张量维持 Unsloth 原本选的量化类型;其余张量(注意力、DSA indexer、共享专家、0–2 层 dense、embedding、输出)与源文件逐字节相同。
元数据只改了四处:glm-dsa.expert_count 256→192、block_count 79→78、nextn_predict_layers 1→0、size_label 256x22B→192x22B。分词器和 chat template 完全不动。全程没有重训练,也没有重新校准。
完整性做了三层校验:1,782 个张量逐一比对,非专家张量字节相同,专家轴张量与”源张量按保留专家切片”一致;再用独立的 nvidia/GLM-5.3-NVFP4 交叉验证,保留的路由行(ffn_gate_inp、exp_probs_b)在全部 75 个 MoE 层比特级相同,反量化专家与 NVFP4 的余弦相似度分别为 0.94(IQ2_XXS)、0.98(IQ3_XXS)、0.994(IQ4_XS),而相邻专家只有不到 0.003。
实测数据
测试环境是一张 B200(nvidia-smi 报 183,359 MiB),llama.cpp commit 8e5a58d(2026-10-24)、驱动 595.91、CUDA 13.0:
| 基准 | 设置 | 结果 |
|---|---|---|
| HumanEval (164) | 贪心、关思考、串行 | 92.7%(152/164) |
| HumanEval (164) | 同上,8 并发 | 89.6%(147/164) |
| GPQA-Diamond (198) | T=1.0、top_p 0.95、reasoning_effort=high、65,536 token | 84.8%(168/198) |
| MMLU(570 题子集) | zero-shot、贪心、只答选项字母 | 71.4%(407/570) |
整模型驻留 GPU 后还余约 100K token 的 KV 缓存,够撑最多 10 路并行。量化类型保持不变:ffn_down_exps 是 IQ3_XXS(71 层)加 IQ4_XS(4 层),ffn_gate_exps / ffn_up_exps 各 43.7 GiB、用 IQ2_XXS(74 层)和 IQ2_S(1 层),平均 2.56 bit/weight。
跑起来的命令很朴素:
llama-server -m GLM-5.3-UD-IQ2_M-E192-00001-of-00006.gguf -ngl 99 -c 65536 -np 8 --reasoning-budget 0 --port 8080
仓库里还附了 eval/serve_b200.sh、eval/humaneval.py、eval/gpqa.py 三个脚本,以及一份把 192 专家模型再量化成其他类型的 imatrix(imatrix_unsloth_E192.gguf,0.86 GB,不跑模型不需要)。
代价写在明处
作者没有把损失藏起来:25% 的路由专家被删、权重只有约 2.6 bit,两重损失叠加;SLIM 在同一专家集上的 FP8 A/B 测试显示中文知识 QA 有明显下降,科学 QA 下降较小,这一版预期一致。贪心解码加关思考时,少数长回答会跑偏或重复(HumanEval 里 164 条中有 1 条卡在 <code> 上),模型也时常吐 <code> 标签而不是 Markdown 代码块。
换句话说,它是一个用”知识广度”换”单机可部署”的取舍:代码、推理、英文任务的数字很好看,中文知识问答这类需要完整专家覆盖的场景要自己评估。许可沿用 GLM-5.3 License,与底座同条款。
对只有一张 B200、又想跑 GLM-5.3 级模型的团队,这是目前少见的现成路径——不需要多卡拆分,不需要自己写剪枝脚本,下载六个分片就能起服务。
更多资讯
想看更多优质内容?
浏览所有资讯