zovo.imzovo.im
首页›AI 快讯›正文

百度开放 ERNIE 5.5 Flash Base 权重:2800 亿参数,每个字只动用 140 亿

zovo约 2 分钟读完
想自己训一个中文大模型,最贵的一步是从零预训练。百度 11 月 5 日把这一步的成果直接放了出来:ERNIE-5.5-Flash-Base,权重可下载。

先把“Base”两个字说清楚:这是预训练刚结束的原始模型,没经过后续的对话调教,所以不能直接当聊天助手用,更像一块已经读完大量书、但还没学会“好好回答问题”的底子。百度的说法是,让开发者拿它去做领域适配、指令微调或强化学习研究。官方还说,调教好的 ERNIE 5.5 Flash 之后会发布。

01280B 和 14B 是怎么回事

它是“混合专家”(MoE)结构:模型里养着 512 个专家,每处理一个字只叫其中 10 个,外加 1 个共用专家。所以总参数 2800 亿,但每个字实际参与计算的只有 140 亿,算得快、花得少。训练用了 33.5 万亿 token,训练时的上下文最长 128K,微调和推理支持到 100 万 token。

官方还写了几处省内存的设计:只有七分之一的层保留对全部历史的逐字关注,其余层把每 128 个字压成一条缓存,这样长文本占的显存小得多。模型只处理文本,不带图像。

02成绩单看什么

百度拿它和 DeepSeek-V4-Flash-Base(284B)、Hy3-preview-Base(295B)、MiMo-V2.5-Base(310B)比,四个模型用同一套评测流程。以下是百度公布的数据:MMLU 93.3 对 89.4、87.5、87.6;代码 HumanEval+ 82.3,高于另外三家的 69.5、78.0、74.4;长文本 LongBench-v2 48.7,对 44.5、39.8、44.6。也有没赢的:中文问答 ChineseSimpleQA 是 DeepSeek 的 75.3 高于它的 73.0,InfiniteBench 也略低。评测是百度自己做的,等第三方复现更稳妥。

03能不能拿来用

权重在 Hugging Face 和魔搭都有,FP8 和 BF16 两个版本。官方给的部署例子用 SGLang 或 vLLM,示例命令设的是 4 卡并行,说明这不是个人电脑能跑的东西,面向的是有 GPU 集群的团队和研究者。许可证是百度自己的“ERNIE 5.5 Flash Base 模型许可协议 v1.0”,不是 Apache 或 MIT,商用前要读一遍条款。

我的看法:最有意思的不是跑分,而是百度这次选择放“基座”而不是“成品”。对多数人,现在还没什么可上手的;等后训练版本出来,才是普通用户能感受到差别的时候。

标签:
本文由 zovo 编辑撰写,转载请注明出处。

相关文章