
月级会话塞进 10 万窗口:billion-context 省下 5 倍 token
夹在编码 Agent 与模型 API 之间的压缩代理,用四个工具让模型自己分段折叠对话;论文记录 18.76B token、零窗口违规,ContextBench 上排第一。
相关标签
编码 Agent 的会话跑久了会出事,这不是感觉,是账:每多一轮对话,历史就被重新计费一次;一旦越过上下文窗口,会话不是变慢就是直接死。billion-context 选择的位置很取巧——它不碰模型,也不改 Agent,而是夹在两者中间做一个本地代理,把已经谈完的那部分对话折成摘要。今天它涨了 460 个星标,总数 5,205。
机制值得细看。代理会往对话里注入四个工具,让模型自己决定什么时候压、压哪一段:compress 把一段消息折成详细摘要,decompress 在需要原话时把那一段还原,search_context 在摘要和可见消息里做关键词检索,acp_status 报告上下文占用以及哪些区间还能压。折叠在服务端执行,历史里保持摘要态,直到被显式还原。和宿主自带的”聊到一半自动总结”相比,这里的关键差别是可逆与分段:摘要是按区间写的,能按需展开,而且不破坏前缀缓存——README 给的数字是健康会话的 prefix-cache 命中率维持在 95–97%,压缩动作本身的成本不超过 2%。
真正让这个项目不像自说自话的,是它带了一篇可改的论文和一份第三方评测。论文记录的是产线级纵向数据:4.5 个月、3 台主机、174,327 次模型调用、18.76B 累计输入 token(三台主机合计约 24.7B),在 204,800 token 窗口的模型上零窗口违规,最长的那几个会话跑了 8,584 到 12,049 次调用。第三方评测是 1,500 道题,跨 LongMemEval-S、ContextBench、MemoryAgentBench 三个基准,对手是完整上下文以及 bm25、embedding、embedding-rerank 三路 RAG。结果:ContextBench 排第一,Utilized F1 0.3097,成本比完整上下文低 58.3%;LongMemEval-S 上 79.20%,比最好的 RAG 路线高 16.6 个百分点,独立会话成本低 71.1%;MemoryAgentBench 的 1.48M token TTL 测试里 100% 存活,稳态压缩 30 倍,而完整上下文在 199 个样本上全挂。
工程上的铺开程度也少见。客户端列表从 Claude Code、Codex、Gemini CLI、Qwen Code、Kimi、OpenCode、pi、goose、aider、Copilot CLI 一直排到 iFlow、MiniMax Code、DeepSeek harness、Antigravity 和 Crush,接法有三种:原生插件(bili plugin install <client>,代理以插件形态嵌进客户端)、launcher(一条 bili <client> 同时拉起代理和客户端,不碰配置文件)、以及改 baseURL 加 /bili/ 前缀(最通用,但对某些客户端是唯一可行的路,比如编译死的 Rust 二进制或只提供加法式插件接口的闭源 CLI)。有意思的是它对每个客户端”能不能原生接”都标了原因和 issue 编号,什么形态只能走证书 MITM,什么形态有 in-loop 工具缝,写得很直白。
也不是没有代价。走 MITM 或改 baseURL 意味着凭据和全部流量都经过本地这一层,用之前得接受这个信任模型;压缩本身是有损的,能不能”零损失”取决于 decompress 找不找得回你要的原话;另外它会给上游注入工具定义,对少数严格校验工具集的部署来说可能需要额外配置。
把上下文管理做成中间件,这件事的意义可能比单个项目更大:窗口大小曾经是模型厂商的参数,现在多了一层可以自己调、自己测、自己换策略的软件。当同一份会话能连续跑一个月、账单还降下来的时候,长任务 Agent 的设计约束就换了。
更多资讯
想看更多优质内容?
浏览所有资讯