一张 24GB 显卡跑 145B:Edge0 把 512 个专家按需流进显存

一张 24GB 显卡跑 145B:Edge0 把 512 个专家按需流进显存

1周前
duguying
4 阅读
来源:HuggingFace

潜在稀疏 MoE 加专家流式分层:Edge0-145B 在一张 RTX 5090 D 上做到 agent 解码 98.3 tok/s,Terminal-Bench 2.1 拿 86.5 分。

相关标签

#HuggingFace#人工智能#边缘推理#MoE

一张 24GB 显卡跑 145B:Edge0 把 512 个专家按需流进显存

145B 参数的模型要在本地跑,通常意味着多卡或者大力压缩量化。Edge0-AI 刚刚上榜 HuggingFace 热门榜的 Edge0-145B 换了一条路:模型结构不动,跑的时候显卡上只留”骨架”和一部分专家,其余专家从内存甚至 SSD 按需流式读入——代价取决于常驻专家数量,而不是模型总大小。官方实测,NVFP4 构建在 RTX 5090 D 24GB 上做到 agent 解码 98.3 tok/s、16K prefill 3165.7 tok/s,Terminal-Bench 2.1 拿下 86.5 分。

它是什么、怎么用

Edge0-145B 是一个面向 agent 与编码场景的文本生成模型:256K 上下文,KV 用 int8 存储,部署后直接开放 OpenAI 和 Anthropic 兼容的 chat 接口,命令行工具 edge0-infer 或者 Windows 桌面应用 Edge0 Chat 选个模型文件夹就能启动。构建分两档:NVFP4(47.79 GiB 权重,仅 CUDA)和 Q3_K(40.81 GiB,额外支持 Apple Silicon 的 Metal)。构建要求 CUDA 13,Linux 和 Windows 均可。

潜在稀疏 MoE:专家”住”在窄走廊里

架构上它是一个 48 层的混合注意力模型,每层配 512 个专家、每 token 激活 10 个路由专家加 1 个共享专家。关键设计在于专家池的 84.6B 参数都运行在 1792 的”潜在宽度”上,模型其余部分保持 2560 宽度,所以每个专家是固定 1,630,720 字节的记录——推理引擎可以在显卡上保留几千个专家,其余的从主机内存流式补充。再配上 51.2B 参数的 n-gram 嵌入表(fp8、memory-mapped,可以直接留在 SSD 上按需直读)和 1.26B 的 MTP 草稿头做投机解码,145B 总参数每 token 实际只激活 10.12B。

内存预算是文档里的一等公民

这份模型卡少见地把”省内存”写成了正式功能:--resident-budget-gib 限定主机内存里的专家缓存上限、--mmap-experts 让未缓存专家直接从 SSD 读、--kv-resident 把 KV 流到固定内存里给专家腾显存。开启驻留模式后,145B NVFP4 在 24GB 卡上占用 23.25 GiB 显存加 38.27 GiB 主机内存;官方还给出 16 GiB 显存 + 20 GiB 内存的受限测试条件,agent 解码仍有 44.9 tok/s。社区甚至出现了 12GB 显卡可跑的第三方单文件构建(未获官方背书)。

对想在本地跑大参数 agent 的开发者来说,这份数据表比多数”能跑起来”的边缘推理项目都诚实——每种机器、每种构建的吞吐和内存占用都列了表格。

模型地址:https://huggingface.co/Edge0/Edge0-145B-NVFP4

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯