
一个 Zig 二进制跑完推理:TensorFold 续聊首 token 0.3 秒
Zig 单二进制推理引擎在 Metal 与 CUDA 上直接跑模型,无需 Python;1.2.7 把长对话续聊首 token 从 85 秒压到 0.3 秒。
相关标签
跑一个本地大模型,通常意味着装 Python、配 MLX 或 PyTorch、解决依赖地狱。ashhart 的 TensorFold 给出的答案是一个 Zig 二进制:读 checkpoint、分词请求、直接跑 Metal 或 CUDA kernel,全程不需要 Python。这个 1,955 星的新项目今天登上 Trending,11 月 11 日的 v1.2.7 版本里藏着一个相当扎眼的数据——长对话续聊的首 token 延迟,从 85 秒压到了约 0.3 秒。
具体场景是:M3 Ultra 上用 Metal 跑 Qwen3.8-27B,当客户端丢弃了早前的推理状态、只带着对话历史来续聊时,旧版要从头重算,新版可以直接从历史末尾接上,首 token 时间从 85 秒降到 0.3 秒左右。磁盘恢复失败时也会回退到内存里已有的状态,不至于整个会话重来。CUDA 这边,GLM-5.3-Flash 也支持了从上一轮续聊(opt-in 开关)。
1.2.7 的其他更新围绕”更像一个正经服务”展开:Responses API 新增 WebSocket 模式,客户端的 responses.connect() 不用改代码;LightOnOCR-3 的 0.8B 和 4B 版本在 CUDA 上以 BF16 权重提供图像对话;仪表盘与 /stats 开始展示 prompt cache 及其磁盘分层,Metal 上还有 Flash Next 的 SSD 专家缓存可见。
前一天发布的 1.2.6 则解决了一个多 agent 时代特有的问题:8 到 16 个 agent 同时发续聊时,prompt cache 能扛住并发不塌,每个回复内容不变。还加了 owner-only 的 --unix-socket 本地监听与图像生成端点。
这个项目还有一个在开源社区里罕见的发明:Agent Traffic Control(ATC)。因为越来越多贡献者是 AI agent,TensorFold 要求 agent 在动手改代码前先跑 atc claim ISSUE 领取任务,成功后会在公开的 agent radar 上开一个匿名会话,agent 工作期间每五分钟发一次心跳,落码后 atc land 结束。看板显示每个 issue 的活动状态和最后一次 check-in,人和 agent 都能避免重复劳动与冲突修改。
上手很简单:Apple Silicon 上 brew install ashhart/tensorfold/tensorfold,拉一个 4-bit 的 Qwen3.5-2B 就能起服务;Linux/NVIDIA 侧需要 glibc 2.28+ 与 R580 以上驱动(CUDA 13 内核,旧驱动会拒绝启动)。对想在本地或私有环境里部署推理、又不想背起 Python 技术栈的团队,这是个值得试的轻量选项。
更多资讯
想看更多优质内容?
浏览所有资讯