paddle.distributed¶

paddle.distributed 目录包含的 API 支撑飞桨框架大规模分布式训练能力。具体如下：

Fleet 分布式高层 API¶

paddle.distributed.fleet 是分布式训练的统一入口 API，用于配置分布式训练。

API 名称	API 功能
UserDefinedRoleMaker	设置和获取用户自定义的集群信息，支持集合通信（Collective）及参数服务器（ParameterServer）两种训练架构的初始化
PaddleCloudRoleMaker	设置和获取 paddlecloud 集群信息（百度内部集群使用），支持集合通信（Collective）及参数服务器（ParameterServer）两种训练架构的初始化
DistributedStrategy	配置分布式通信、计算和内存优化等策略
fleet.init	进行分布式训练配置并初始化
fleet.init_worker	集合通信架构下，worker 节点初始化
fleet.stop_worker	集合通信架构下，停止正在运行的 worker 节点
fleet.barrier_worker	集合通信架构下，强制要求所有的 worker 在此处相互等待一次，保持同步
fleet.init_server	参数服务器架构下，server 节点的初始化
fleet.run_server	参数服务器架构下的进程启动
fleet.save_inference_model	保存用于预测的模型
fleet.save_persistables	保存全量模型参数
fleet.distributed_optimizer	基于分布式并行策略进行模型拆分和优化计算
UtilBase	分布式训练工具的基类，用户集合通信、文件系统操作
utils.HDFSClient	Hadoop 文件系统查看和管理
utils.LocalFS	本地文件系统查看和管理

API 名称	API 功能
InMemoryDataset	数据加载到内存中，在训练前随机整理数据
QueueDataset	流式数据加载

在集群上，对多设备的进程组的参数数据 tensor 或 object 进行计算处理，包括规约、聚合、广播、分发等。

API 名称	API 功能
ReduceOp	规约操作的类型
reduce	规约进程组内的 tensor，随后将结果发送到指定进程
all_reduce	规约进程组内的 tensor，随后将结果发送到每个进程
all_gather	聚合进程组内的 tensor，随后将结果发送到每个进程
all_gather_object	聚合进程组内的 object，随后将结果发送到每个进程
alltoall	将一组 tensor 分发到每个进程并进行聚合
alltoall_single	将一个 tensor 分发到每个进程并进行聚合
broadcast	将一个 tensor 发送到每个进程
broadcast_object_list	将一组 object 发送到每个进程
scatter	将一组 tensor 分发到每个进程
scatter_object_list	将一组 object 分发到每个进程
reduce_scatter	规约一组 tensor，随后将规约结果分发到每个进程
isend	异步发送一个 tensor 到指定进程
irecv	异步接收一个来自指定进程的 tensor
send	发送一个 tensor 到指定进程
recv	接收一个来自指定进程的 tensor
barrier	同步路障，阻塞操作以实现组内进程同步

paddle.distributed.stream 在集合通信 API 的基础上，提供更统一的语义和对计算流的更精细的控制能力，有助于在特定场景下提高性能。

API 名称	API 功能
stream.reduce	规约进程组内的 tensor，随后将结果发送到指定进程
stream.all_reduce	规约进程组内的 tensor，随后将结果发送到每个进程
stream.all_gather	聚合进程组内的 tensor，随后将结果发送到每个进程
stream.alltoall	分发一组 tensor 到每个进程并进行聚合
stream.alltoall_single	分发一个 tensor 到每个进程并进行聚合
stream.broadcast	发送一个 tensor 到每个进程
stream.scatter	分发一个 tensor 到每个进程
stream.reduce_scatter	规约一组 tensor，随后将规约结果分发到每个进程
stream.send	发送一个 tensor 到指定进程
stream.recv	接收一个来自指定进程的 tensor