百度开放文心 5.5 Flash 基座:280B 只激活 14B,微调推理支持 1M 上下文

百度开放文心 5.5 Flash 基座:280B 只激活 14B,微调推理支持 1M 上下文

1周前
duguying
3 阅读
来源:HuggingFace

百度在 HuggingFace 开放 ERNIE 5.5 Flash 预训练基座权重:33.5T token 从零预训练、混合 HCA+MLA 注意力压缩 KV cache,后训练选择权交给社区。

相关标签

#HuggingFace#人工智能#大模型#开源

百度在开源大模型上换了一种打法:这次放出的不是成品对话模型,而是文心 ERNIE 5.5 Flash 的基座权重——预训练刚结束、尚未做任何中后期训练的”半成品”,280B 总参数、每 token 只激活 14B,微调与推理支持 1M token 上下文。

它是做什么的

ERNIE-5.5-Flash-Base 是一个稀疏 MoE(混合专家)语言基座模型:输入文本,输出文本续写。官方把它定位为领域适配、指令微调和强化学习研究的共同起点——”往哪个方向调,开发者自己决定”。总参数 280B,每 token 激活 14B,这是”大模型、小推理成本”的典型 MoE 配方;从零预训练了 33.5T token,训练上下文最长 128K,微调与推理阶段支持 1M token。

架构上有两个值得展开的点。其一是 43 层的混合注意力设计:37 层采用 Heavily Compressed Attention(HCA),每 128 个 token 只缓存一条 KV 条目,大幅压缩 KV cache;另外 6 层保留 MLA(多头潜在注意力)加稀疏注意力,维持全上下文访问能力。其二是按层定制注意力头维度——便宜的 HCA 层用 512 维宽头,昂贵的 token 级 MLA 层用 256 维窄头,把算力花在刀刃上。MoE 部分共 512 个路由专家(top-10 激活)加每层 1 个共享专家,优化器用的是 Muon。

成绩单与诚意

模型卡附了统一评测管线下的对比:同台比较 DeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)和 MiMo-V2.5-Base(310B-A15B),ERNIE 5.5 Flash Base 在知识、推理、数学、代码、多语言和长上下文基准上表现靠前。预训练数据侧重”事后补不进来”的能力——仓库级代码和长上下文理解。

发布形态也算齐全:FP8 和 BF16 两套 safetensors 同时上架 Hugging Face 和 ModelScope。当然,基座模型没有对话对齐,直接拿来聊天效果会打折;它的目标用户是打算做继续预训练、SFT 或 RL 研究的团队。

把 280B 级基座而非成品开放出来,等于把后训练的选择权和成本都交给了社区。在国产大模型的开放策略里,这是个姿态相当鲜明的动作,对长文档和大代码库场景(1M 上下文)感兴趣的团队尤其值得评估。

模型地址:https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯