您可以通过以下内容,了解飞桨分布式训练的特性和使用指南:
分布式整体介绍 : 飞桨分布式场景介绍和技术选型。
环境部署 : 部署环境以使用飞桨框架进行分布式训练。
快速开始-数据并行 : 使用飞桨数据并行快速开始分布式训练。
快速开始-参数服务器 : 使用飞桨参数服务器快速开始分布式训练。
数据并行 : 使用飞桨框架完成数据并行训练。
张量模型并行 : 使用飞桨框架完成张量模型并行训练。
流水线并行 : 使用飞桨框架完成流水线并行训练。
分组切分并行 : 使用飞桨框架完成分组切分并行训练。
MoE : 使用飞桨框架完成 MoE 模型训练。