770B 只激活 49B:腾讯开源旗舰 Hy4,草稿模型零显存复用 KV 缓存

770B 只激活 49B:腾讯开源旗舰 Hy4,草稿模型零显存复用 KV 缓存

前天
duguying
3 阅读
来源:HuggingFace

腾讯 Hy 团队开源 7700 亿参数 MoE 多模态旗舰 Hy4:每 token 激活 49B、百万上下文,DFly2 草稿器直接共享主模型 KV 缓存做投机解码,金融真人评测排开源权重模型第一。

相关标签

#HuggingFace#人工智能#腾讯#MoE#多模态

770B 只激活 49B:腾讯开源旗舰 Hy4,草稿模型零显存复用 KV 缓存

上周刚报道过腾讯 Hy4 家族的 flash 压缩变体,这次旗舰本体来了:腾讯 Hy 团队在 Hugging Face 开源了 7700 亿参数的 MoE 多模态旗舰 Hy4,每 token 只激活 49B,上下文做到 1,048,576——文本、图片、视频三种理解能力集于一身。

先看它是什么。Hy4 是一个”一次部署、五路吃”的通用旗舰:支持 CLI 与 GUI 的 computer-use 工作流(针对 Blender、CAD 等专业软件做了定向训练);前端与游戏开发(与腾讯 IEG 合作打磨 UE、Unity、Godot 引擎适配);金融与办公流程;科研与 AI 研发;以及能整合聊天记录、邮件、日历的长程个人助理。输入图片或视频,输出分析文本,适合有集群资源、想自托管旗舰级多模态能力的机构。

架构是模型卡里最有看头的部分。语言底座 770B 参数、78 层,第一层是稠密 FFN,其余 77 层是 MoE——每层 256 个路由专家加 1 个共享专家,每个 token 只激活 top-8。注意力采用受 DeepSeek 与 GLM 启发的 Gated DeepSeek Sparse Attention(Gated DSA),配合 IndexCache 做跨层稀疏索引复用,每次只由索引器选出 top-2048 个 token 参与注意力计算;残差通路用 4 路残差流的 iHC 扩展层间信息流。视觉侧由 1.23B 的 ViT 支持动态分辨率。

真正”零显存”的设计在草稿模型。Hy4 内置了一个 5 层、3.3B 参数的 DFly2 草稿器做投机解码,它不维护自己的 KV 缓存,而是直接共享主模型对应 DSA 层的 KV cache 和索引器选出的 top-2048 位置——每个草稿 token 至多看约 2K 个 key,与上下文长度无关;prefill 阶段也不参与,主从切换只多传一个末层隐状态,对 PD 分离部署友好。上周报道的 Hy4-flash 把 KV 压到 1/24,这次的旗舰本体走的则是另一条路:把”省”拆成稀疏注意力、KV 共享、专家按需激活三层各自实现。

能力数据上,基座版在 MMLU 拿 91.6、C-Eval 95.0、SuperGPQA 62.7,均高于对比列中的 DeepSeek-V4-Pro-Base。更罕见的是金融场景的真人评测:腾讯金融科技(FiT)组织了 213 名金融从业者(含 153 名专家,七成有五年以上经验),在 579 个真实金融任务上打出均分——Hy4 以 3.04/4 排开源权重模型第一,高于 DeepSeek-V4.1-Flash-1017 的 2.97 和 Kimi K3.1 Pro 的 2.68。检索链路定向升级后,幻觉率从 preview 版的 15.76% 降到 5.45%。

部署走 vLLM 或 SGLang 的官方镜像,FP8 量化版与 AngelSlim 压缩的 GGUF 版均已放出,另有完整微调管线。模型卡也坦白:在研究级数学、长程编码、模型自我改进等内部基准上,与顶级闭源模型仍有明显差距。许可为 Tencent Hy License,商用前需细读条款。

模型地址:https://huggingface.co/tencent/Hy4

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯