
1M 上下文不再等于天价:腾讯 Hy4 flash 把 KV 缓存砍到上一代的 1/24
220B 总参只激活 12B,KV 缓存压到 Hy3 的 1/24:腾讯混元把 1M 上下文的多模态模型做成'廉价档',盲测满意度贴近 Claude Haiku 5.5,单任务成本只有 Hy4 的二十分之一。
相关标签
长上下文贵在哪?不在算力,而在显存里那份随对话一起变长的 KV 缓存。腾讯混元开源的 Hy4 flash 把这份缓存压到同门前作的六分之一、再上一代的二十四分之一,换来的账是:单任务成本只有 Hy4 的二十分之一、Hy4 preview 的十三分之一。
它是做什么的
Hy4 flash 是混元 Hy 系列里的”廉价档”多模态模型:原生接受文本与图片输入,输出文本,上下文最长 1,048,576 token(1M)。定位很明确——日常生产力任务,官方点名的场景是深度搜索、文档处理、做幻灯片、简单前端 demo 和 computer use;如果要做长程软件工程这类硬活,它建议你换智力上限更高的 Hy4。
结构上是混合专家(MoE):总参数 220B,其中 64B 是 Engram 参数,每生成一个 token 只激活约 12B(文本 11.3B + 视觉 0.43B)。语言骨干 42 层,1 层稠密前馈 + 41 层 MoE,层间用 identity Hyper-Connections(iHC)连接 4 条残差流;视觉侧是改编自 SigLIP2-So400m-Patch16-Res512 的编码器,经 MLP projector 接进骨干。
省下来的三笔钱
相对 Hy4,这代改了三处架构:
混合注意力。稀疏注意力(IndexPool)与滑动窗口注意力(SWA)按 1:3 交错,层序是 2 层稀疏 + 10 组「3 层 SWA + 1 层稀疏」。稀疏侧靠组级选择最多看 2,048 个 token,SWA 侧是 512 token 的因果窗口。注意力本身用 MLA(Multi-head Latent Attention),多模态位置编码用交错 MRoPE。
LatentMoE。路由专家不在原始维度上算,而是在 1,536 维的低维潜空间里计算,专家中间层也是 1,536。每层 512 个路由专家,每 token 激活 16 个,外加 1 个共享专家。
Engram n-gram 嵌入。骨干第 1、11、21、31 层挂上学习到的 bigram/trigram 表示,用多头哈希查表取回:每个 n-gram 阶 8 个哈希头、每头词表 1,030 万、每阶嵌入 768 维,整张表 63.4B 参数。这是”总参 220B 却只激活 12B”的主要来源——参数堆在查表里,不参与每 token 的矩阵乘。
三件事叠起来的效果写在模型卡上:KV 缓存降到 Hy3 的 1/24、Hy4 的 1/6。后训练从 Hy4 自蒸馏拿到通用能力,再用强化学习把端到端平均输出 token 砍掉 50%。
推理侧的三件套
部署上还有一层加速:megakernel、4bit 量化,加上内置的投机解码草稿器 DFly2。DFly2 只有 0.85B、5 层,直接建在目标模型的 Top-k 稀疏 KV 上——每个草稿层与对应的稀疏注意力层共享 KV 缓存(KV Share),也共享压缩索引器选出的最多 2,048 个位置(Index Share)。好处有三:每个草稿 token 最多只看约 2K 个 key,成本与上下文长度无关;不额外占 KV 显存;不参与 prefill,PD 分离时只多传一个末层隐状态。三者合起来,模型卡称解码速度突破 150 tokens/s。
便宜到什么程度
混元自建了一个叫 WorkIndex 的内部基准,8 个评测集覆盖做 PPT、改 PPT、人机共写幻灯片、Markdown 共写、文档编辑、表格修错、音视频处理和视觉理解,按”交付物质量、单轮输出长度、任务周转时间”打分。Hy4 flash 得 42.1,Hy4 preview 是 39.7;而它的单任务平均成本是 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1017(Max 档、高峰价)的 1/8。
85 名内部用户、259 个任务、27 个类别的盲测里,Hy4 flash 满意度 2.79/4,Claude Haiku 5.5 是 2.81/4;中位端到端完成时间 6.7 分钟,单任务成本 0.26 元,两项都是参评模型里最低/最短。
代价也写在卡上:预训练 few-shot 基准普遍低于 Hy4 本体——MMLU 88.7 对 91.6、MMLU-Pro 71.1 对 73.9、SimpleQA 37.5 对 57.2;多模态 MMMU-Pro 52.0 对 59.6、TextVQA 73.4 对 78.2。混元自己也加了一句免责声明:底座在中训练阶段吃了大量合成指令数据,few-shot 评测里偶尔不按格式回答,分数可能被扭曲。
怎么上手
开源三件套:Hy4-flash(instruct)、Hy4-flash-FP8、Hy4-flash-base(纯预训练底座,不是聊天模型),许可为 Tencent Hy License。另有 AngelSlim 出的 GGUF 供端到端测试。
Transformers 侧要等主分支合入,目前按模型卡指定的 PR 安装;生产部署给了两套现成镜像:vllm/vllm-openai:hy4-flash(8 卡 TP,--speculative-config '{"num_speculative_tokens":5,"method":"dfly"}',注意力后端 FLASHMLA_SPARSE)和 lmsysorg/sglang:hy4-flash(--speculative-algorithm DFLY --speculative-dfly-block-size 6)。推理档位用 reasoning_effort 控制,"high" 默认开思考,"no_think" 直出;采样建议 temperature 0.9、top_p 1.0。
一句话总结:这不是一个想赢榜单的模型,而是一个把”每任务多少钱”当成第一指标的模型——它用查表参数换激活量、用稀疏注意力换 KV 缓存、用自蒸馏加 RL 换输出长度,最后把三笔省下的成本折算成 1⁄13 的单价。
更多资讯
想看更多优质内容?
浏览所有资讯