您可以通过以下内容,了解飞桨数据并行策略的特性和使用指南:
原理和实践案例 : 使用飞桨框架进行数据并行策略下的分布式训练。
前向重计算 : 使用飞桨框架进行前向重计算训练。
自动混合精度 : 使用飞桨框架进行自动混合精度训练。
Gradient Merge : 使用飞桨框架进行 Gradient Merge 训练。