百度正式开源ERNIE-5.5-Flash-Base，这是一款专为后续训练和高效推理设计的稀疏混合专家（MoE）语言基座模型。该模型总参数量达280亿，每令牌激活参数仅为14亿，基于33.5万亿令牌从零预训练而成，支持最高128K的训练上下文长度及100万令牌的微调与推理上下文。
此次发布的权重为预训练结束时的原始检查点，未经任何中间训练或后处理，旨在为社区提供领域适应、指令微调及强化学习研究的纯净起点。
架构创新：效率与能力的平衡
为解决长上下文和多轮交互带来的计算成本问题，ERNIE 5.5 Flash在架构层面进行了多项革新，综合考量激活计算量、KV缓存及长上下文成本：
- 混合稀疏注意力机制：采用潜在门控稀疏注意力设计，结合多头潜在注意力（MLA）与高度压缩注意力（HCA）。仅少数层保留对完整上下文的令牌级访问，其余层通过压缩序列降低KV缓存占用。同时引入低秩门控注意力和虚拟头注意力（VHA），在提升训练稳定性的同时减少参数开销。
- 多路由潜在MoE：摒弃传统单路由器机制，采用多个独立初始化的Sigmoid路由器共同评分，显著改善路由分数与专家有效性的相关性，增强模型对噪声和分布偏移的鲁棒性。每个MoE层包含512个路由专家（Top-10激活）及1个共享专家，并通过潜在空间投影降低通信流量和计算FLOPs。
- 流形约束超连接（mHC）：替换标准残差连接，通过约束混合矩阵读取和写入4条并行残差流，以更低的计算代价拓宽层间信息传递通道。
- MultiMax输出头与ECHO模块：MultiMax通过可学习的分段温度替代单一Softmax温度，在抑制不合理令牌的同时保留多个合理预测；ECHO模块重用骨干网络最后一层预测未来令牌，直接训练主干网络参数，提升了推理和代码生成能力，并支持高效的推测解码。
数据与训练系统
预训练语料库涵盖广泛领域，重点强化了仓库级代码理解和长上下文能力。代码数据不仅包含静态代码，还纳入提交记录、PR路径等软件演进数据；长上下文数据则结合自然文档、拼接序列及合成数据。
训练基础设施方面，团队开发了分布式Muon优化器和FlashMask-4注意力内核。分布式Muon通过通信高效的更新和内存均衡分片，实现了数千张GPU规模下的稳定训练；FlashMask-4则针对大头部维度优化，在SM100 GPU上显著提升了前向和反向传播速度。
性能评估
在与DeepSeek-V4-Flash-Base、Hy3-preview-Base等同类基座模型的对比中，ERNIE-5.5-Flash-Base在多项基准测试中表现强劲：
- 综合知识：在MMLU（93.3）、MMLU-Pro（78.4）等考试中取得领先成绩。
- 代码能力：HumanEval+得分82.3，MBPP+得分81.5，LiveCodeBench得分40.1，均优于对比模型。
- 长上下文：在HELMET-RAG、RepoQA等长文本基准中保持优势，验证了其高效注意力机制的有效性。
- 推理与STEM：在GPQA、MGSM等科学和数学推理任务中表现优异。
获取与使用
ERNIE-5.5-Flash-Base已在Hugging Face开源，提供FP8和BF16两种格式，遵循ERNIE 5.5 Flash Base Model License Agreement v1.0协议。开发者可通过Transformers库快速加载，并兼容SGLang和vLLM等推理框架。模型输入需包含BOS token，建议在使用时分词参数设置add_special_tokens=True。