
Maxwell-V1-Flash 把 256K 注意力锁进 4096 token 上限,长文本注意力快 6.7 倍
35B 总参、3B 激活的 MoE 模型 Maxwell-V1.0-Flash:块稀疏注意力把 256K 上下文的主注意力锁进每 KV 组 4096 token,256K 下比稠密 GQA 快 6.7 倍,SWE-Bench 65.40、Terminal-Bench 58.65,Apache-2.0 开源。
相关标签
Maxwell-V1-Flash 把 256K 注意力锁进 4096 token 上限,长文本注意力快 6.7 倍
长上下文模型最贵的开销在注意力:序列越长,每个 token 要”回看”的历史越多,KV 缓存和计算量随之膨胀。新发布的 Maxwell-V1.0-Flash 给出了一条不同的路——历史一个不丢,但每次真正参与计算的部分被硬性锁住。这个 Apache-2.0 开源的 MoE 模型总参数 35B(不含嵌入层)、每 token 仅激活 3B,上下文支持到 256K,在 256K 长度下注意力核比稠密 GQA 快 6.7 倍。
它是做什么的:Maxwell-V1-Flash 是 Maxwell 团队的文本生成大模型,输入文本与工具定义,输出回复、推理过程和工具调用,主打推理、Agent 与长上下文三类场景,定位是”低推理成本的高能力模型”。官方提供 vLLM Docker 一键部署(要求 CUDA 13.0、驱动 ≥580),也可在其官网 playground 直接试用。
核心创新是块稀疏注意力(MBSA)。每个 KV 组固定保留 8 个前缀块和 8 个本地的 128-token 块,再由一个学习出来的索引器从全历史中最多挑选 16 个远程块——主注意力的计算上界被锁定在每 KV 组 4,096 token,而完整历史的 KV 缓存仍然保留可用,需要时可以取回。预训练约 26T token 多语言数据,采用 Muon 优化器,训练先走稠密路径,到 128K 中训阶段索引器预热充分后再切入块稀疏并与主干联合训练。
另外两处结构改动:一是流形约束超连接——多条残差流按输入学习聚合方式,在不增加注意力和前馈计算的前提下拓宽信息流;二是细粒度 MoE——细粒度路由的专家搭配常驻共享专家,配动态路由修正偏置和轻量的序列级负载均衡损失。分词器词表 200,704,对泰语、老挝语、缅甸语、高棉语等低资源东南亚语言做了紧凑优化。
实测数据(与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、Nemotron-3.5-Lightning、Muse-Glimmer-30B 同台对比,Maxwell 均为指令模型):SWE-Bench-Verified(Claude Code)pass@1 65.40,五者最佳;Terminal-Bench mean@5 58.65,比次优 48.50 高出 10 个点以上;工具调用评测 MCP-Mark mean@8 37.30、Tau3-Bench pass@1 67.37 同样领先;GPQA-Diamond 86.52、MMLU-Pro 85.46、LiveCodeBench v6 pass@1 85.66;数学侧 AIME 2025 mean@8 96.25、pass@8 满分 100.00;多语言平均 89.6。
后训练走两条路:两段式全域 SFT 打底,再分通用、可验证推理(数学/科学/逻辑/代码)、Agent(搜索、终端、函数调用、软件工程)三条独立 RL 分支训练,最后用多教师 on-policy 蒸馏把三条分支合进一个模型。
对需要私有化部署长上下文 Agent 的团队,Maxwell 的思路值得留意:它压的不是参数量(3B 激活已经很低),而是长序列下最烧钱的注意力计算——这与 Edge0 的专家流式、GLM-SLIM 的删专家构成了”压缩”路线的第三种解法。
更多资讯
想看更多优质内容?
浏览所有资讯