
剪掉旧 API、补上 FP8:llama.cpp 背后的张量库 ggml 迈入 1.0
驱动 llama.cpp 生态、在手机和浏览器里跑模型的张量库 ggml 发布 v1.0.0,API 面正式收敛,FP8/NVFP4 与全后端性能优化一并落地。
相关标签
本地大模型推理的底座之一 ggml,在 11 月 13 日发布了 v1.0.0——这个驱动着 llama.cpp 生态、在手机和浏览器里跑模型的张量库,第一次告别了 0.x 版本号。对基础设施项目来说,1.0 不只是数字:它意味着 API 面正式收敛,破坏性变更的容忍度从此归零。
这次发布最重的动作是清理。v1.0.0 剪掉了所有弃用的公开 API,移除了 legacy 的 DIAG_MASK_INF/DIAG_MASK_ZERO 算子,并把 RPC 协议升到 v9——不兼容的对端会被直接拒绝,加载速度更快,握手失败也能优雅降级。同时新增 ggml_rope_set_truncate/ggml_rope_get_truncate 接口,让 YaRN 位置编码的修正边界取整变得可配置。
性能一侧的改动铺满了所有后端:CUDA 和 Metal 补上了 batch 2-24 的 few-row 量化矩阵乘并做了 MoE 融合;Vulkan 有了 prefill FlashAttention 路径;SYCL 上新增设备侧 MoE 调度器;OpenCL 为 Adreno GPU 带来分解式 FlashAttention;WebGPU 内核扩充,Hexagon NPU 的算子覆盖继续扩大。格式方面加入了 OCP FP8 支持,NVFP4 的 gate/up 矩阵乘与 GLU 融合进 MMQ。调度器也更聪明了:不再上传没人读的输入,只预取前序切分产生的数据,MoE 缓存缺失的部分可以先在 CPU 算完再异步拷回。
ggml 的定位在 README 里写得非常克制:纯 C/C++、零依赖、运行时零内存分配,从 x86、ARM、RISC-V、LoongArch、PowerPC、s390x 一直到 WebAssembly,后端覆盖 CPU、GPU、NPU 和浏览器,量化从 2bit 到 8bit 外加 MXFP4/NVFP4 微缩放格式。正是这套”哪儿都能跑”的克制,让它成了 GGUF 生态在手机、浏览器和边缘设备上的共同底座。
还有一个社区彩蛋:想给核心库提 PR,得去 llama.cpp 仓库——贡献入口也在那里。
更多资讯
想看更多优质内容?
浏览所有资讯