paddle.distributed¶

paddle.distributed 目录包含的 API 支撑飞桨框架大规模分布式训练能力。具体如下：

Fleet 分布式高层 API¶

paddle.distributed.fleet 是分布式训练的统一入口 API，用于配置分布式训练。

API 名称	API 功能
UserDefinedRoleMaker	设置和获取用户自定义的集群信息，支持集合通信（Collective）及参数服务器（ParameterServer）两种训练架构的初始化
PaddleCloudRoleMaker	设置和获取 paddlecloud 集群信息（百度内部集群使用），支持集合通信（Collective）及参数服务器（ParameterServer）两种训练架构的初始化
DistributedStrategy	配置分布式通信、计算和内存优化等策略
fleet.init	进行分布式训练配置并初始化
fleet.init_worker	集合通信架构下，worker 节点初始化
fleet.stop_worker	集合通信架构下，停止正在运行的 worker 节点
fleet.barrier_worker	集合通信架构下，强制要求所有的 worker 在此处相互等待一次，保持同步
fleet.init_server	参数服务器架构下，server 节点的初始化
fleet.run_server	参数服务器架构下的进程启动
fleet.save_inference_model	保存用于预测的模型
fleet.save_persistables	保存全量模型参数
fleet.distributed_optimizer	基于分布式并行策略进行模型拆分和优化计算
UtilBase	分布式训练工具的基类，用户集合通信、文件系统操作
utils.HDFSClient	Hadoop 文件系统查看和管理
utils.LocalFS	本地文件系统查看和管理

API 名称	API 功能
InMemoryDataset	数据加载到内存中，在训练前随机整理数据
QueueDataset	流式数据加载

在集群上，对多设备的进程组的参数数据 tensor 或 object 进行计算处理。

API 名称	API 功能
reduce	规约，规约进程组内的 tensor，返回结果至指定进程
ReduceOP	规约，指定逐元素规约操作
all_reduce	组规约，规约进程组内的 tensor，结果广播至每个进程
all_gather	组聚合，聚合进程组内的 tensor，结果广播至每个进程
all_gather_object	组聚合，聚合进程组内的 object，结果广播至每个进程
broadcast	广播一个 tensor 到每个进程
scatter	分发 tensor 到每个进程
split	切分参数到多个设备
barrier	同步路障，进行阻塞操作，实现组内所有进程的同步