分布式训练¶

您可以通过以下内容,了解飞桨分布式训练的特性和使用指南:

• 分布式整体介绍 : 飞桨分布式场景介绍和技术选型。

• 环境部署 : 部署环境以使用飞桨框架进行分布式训练。

• 快速开始-数据并行 : 使用飞桨数据并行快速开始分布式训练。

• 快速开始-参数服务器 : 使用飞桨参数服务器快速开始分布式训练。

• 数据并行 : 使用飞桨框架完成数据并行训练。

• 参数服务器 : 使用飞桨框架完成参数服务器训练。

• 张量模型并行 : 使用飞桨框架完成张量模型并行训练。

• 流水线并行 : 使用飞桨框架完成流水线并行训练。

• 分组切分并行 : 使用飞桨框架完成分组切分并行训练。

• MoE : 使用飞桨框架完成 MoE 模型训练。