悟道

悟道2.0：中国首个超大规模智能模型系统

2021年6月，北京智源研究院（BAAI）正式推出了悟道1.0的后续版本——悟道2.0。作为中国第一个超大规模智能模型系统，悟道本质上是一个语言模型。其核心目标是在人类层面的思维上超越OpenAI的GPT-3和谷歌的LaMDA，致力于向通用人工智能（AGI）和人类水平的思维迈进。凭借强大的能力，悟道在9个基准上已经超越了最先进（SOTA）水平，比任何同行都更接近于实现上述目标。

训练数据规模

悟道接受了总计4.9TB的高质量英文和中文图像与文本训练，具体数据构成如下：

• 1.2TB中文文本数据
• 2.5TB中文图形数据
• 1.2TB英文文本数据

核心技术：FastMoE系统

悟道的训练基于开源的MoE系统FastMoE。MoE作为一种机器学习技术，其工作原理主要包含以下几个步骤：

1. 将预测建模任务划分为子任务。
2. 针对每个子任务训练专家（学习者）模型。
3. 开发门控模型，该模型基于要预测的输入来学习咨询哪个专家，并组合预测。

FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。例如，如果输入是英文文本，悟道将使用能够在英文文本中生成回应的预测模型。