开源项目 colibrì：25GB 内存跑起 7440 亿参数大模型GLM5.2

一个名为 colibrì（意大利语”蜂鸟”）的开源项目近日在 GitHub 走红，目前已收获约 9000 颗 Star、700 多次 Fork。它让原本需要成组顶级显卡才能运行的 GLM-5.2（7440 亿参数 MoE 大模型），跑在了一台仅约 25GB 内存的普通消费级电脑上——引擎用纯 C 语言写成，零第三方依赖、无需 GPU。

核心思路：GLM-5.2 虽有 7440 亿总参数，但每生成一个 token 仅激活约 400 亿。colibrì 把显存、内存、硬盘统一视为一套分层内存体系：约 170 亿参数的常驻部分以 int4 量化占用约 9.9GB 内存，其余 2 万多个”路由专家”（约 370GB）存于硬盘、按需流式读取，并配合 LRU 缓存与操作系统页缓存加速。整个引擎核心仅约 2400 行 C 代码。

性能表现：作者态度坦诚——在其简陋开发机上冷启动仅约 0.05–0.1 token/秒，但强调”硬盘决定速度、而非质量”，答案始终正确。社区实测显示，Apple M5 Max 开启 Metal 后端可达约 2 token/秒，PCIe5 NVMe + 大内存机器普遍能到 2–4 token/秒，缓存预热后还会更快。

主要特性：忠实还原 GLM-5.2 前向计算并逐位验证、MLA 压缩注意力（KV 缓存缩小 57 倍）、原生 MTP 投机解码、对话热恢复、”用得越多跑得越快”的学习型缓存；支持 Linux/WSL2、macOS（实验性 Metal）、Windows 11 原生，并提供 OpenAI 兼容 API 与社区 Web 界面。Hugging Face 上已有转换好的 int4 模型可直接下载。

值得一提的是，这是一个单人项目，完全在一台 12 核、25GB 内存的笔记本上写成，作者欢迎社区在更强硬件上跑出数据反馈。项目采用 Apache 2.0 许可证，GLM-5.2 权重由 Z.ai 以 MIT 许可发布。

项目地址：https://github.com/JustVugg/colibri

一句话总结：colibrì 证明跑大模型不必拼显卡堆料，把存储与内存精细调度，普通电脑也能”养得起”一个 7440 亿参数的巨兽，实实在在拉低了前沿大模型的使用门槛。