跳到正文
The Decoder· Matthias Bastian·· 1 天前AI 评分72

百度开源 2800 亿参数 ERNIE 5.5 Flash Base 基础模型

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

AI 导读

百度发布开源基础模型 ERNIE-5.5-Flash-Base,刻意不做微调或后训练,由开发者自行决定后续方向,后训练版本后续推出。该模型采用 MoE 架构,总参数 2800 亿、每次输入激活 140 亿,预训练使用 33.5 万亿 token,训练上下文最高 128,000 token,设计上支持微调与推理时最高 100 万 token 上下文。

来源:The Decoder · the-decoder.com