思考 token 砍到十分之一：Qwen3.8 微调 4bit 量化自报 ARC-C 719

本地跑 27B 的人大概都遇到过这种场面：问题问完，模型在思考块里转了两千 token，最后给出的答案一句话就能说完。DavidAU 这次的微调把靶子直接立在”想多久”上——同一件事，思考 token 压到原来的二分之一到十分之一。

它是什么：给消费级显卡准备的 GGUF 包

这不是一个需要自己转量化的原始权重，而是一套开箱即用的 GGUF 量化仓库，基座是 Qwen3.8-27B 经过多阶段融合（作者称为 Fable Fusion 与 Cold Fusion 方法）后的去审查版本。任务类型仍是标准的多模态语言模型：输入文字或图文，输出文字，支持思考与直答两种模式切换。

目标用户非常具体：显存 24-48GB 的单卡用户、或者用 RTX 5090 配 LM Studio 在 Windows 上跑本地助手的人。作者在卡里直接给了自家平台的测速数据，没有绕弯子。

核心：量化档位、自报分数、以及”少想”这件事

仓库同时提供两套权重——普通量化和 MTP 量化，都是 Neo-CODER MAX DI-MATRIX（双 imatrix）版本，量化档位覆盖 Q4_K_S、Q4_XS、Q6_K、Q8_0。

作者自报的分数是：8bit 下 ARC-C 达到 735、ARC-E 达到 880；4bit 下 ARC-C 仍有 719。名字里那个”735”就来自 8bit 成绩。他同时声称这套 4bit/8bit 权重在 7 项核心基准上全面超过基座 Qwen3.8-27B，并拿”700 分以上原本是闭源模型的俱乐部”作为对比框架。

真正有信息量的部分不是分数，而是推理长度的变化。作者的说法是：未调优的 Qwen3.8-27B 在动手前会反复”看一遍、再看一遍”，光思考就能吃掉 10k 到 40k token；TURBO 版几乎立刻进入输出。缩减覆盖三种工作模式，聊天和 refined 阶段都能受益。

MTP 量化是第二层增益。作者的实测是：在 Q4_K_S 上，普通 GGUF 大约 75 t/s，而 MTP 版（token acceptance 60%，一次预测两个 token）可以超过 90 t/s，环境是 RTX 5090 + Windows 11 + LM Studio。他也给了一条很实用的判据：如果 MTP 版的 token acceptance 掉到 50% 以下，说明普通量化反而更快，该换回去。

需要保留的怀疑

ARC-C 与 ARC-E 这两个数字是作者自报的，模型卡里没有第三方复现链接——他指向的是 Community 标签页里用户贴的测试。对这类”多阶段融合 + 大量自定义数据集”的微调，社区一贯的经验是：榜单分数涨得快，实际体感取决于你的任务分布。建议先拿自己的评测集跑一遍 Q4_K_S 与 Q8_0，再决定把哪个档位设成默认。

另外要清楚它保留了去审查特性。如果你需要模型对敏感请求稳定拒答，这个仓库从命名开始就不是为那个场景准备的。

怎么开始

最省事的路径是在 LM Studio 里搜仓库名，选 Q4_K_S 或 Q4_XS 下载，先试普通量化，再试同档位的 MTP 版本，用你实际任务的吞吐做对比。llama.cpp 用户直接拉 GGUF 文件即可，注意 MTP 版本需要较新的运行时支持 speculative decoding 才能吃到那 20% 的提速。

模型地址：https://huggingface.co/DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF