ProcessMesh¶
ProcessMesh 对象描述了所使用进程的笛卡尔拓扑结构。
参数¶
mesh (list|numpy.array) - 表示一组设备的逻辑笛卡尔拓扑。笛卡尔网格的每个维度都被称为网格维度,以名称进行引用。同一 ProcessMesh 内的网格维度名称必须唯一。
dim_names (list,可选) - ProcessMesh 各个轴的名称。
shape (list|tuple,可选) - 定义 ProcessMesh 的形状。
process_ids (list|tuple,可选) - 进程的 id 集合。
代码示例¶
>>> import paddle
>>> import paddle.distributed as dist
>>> mesh = dist.ProcessMesh([[2, 4, 5], [0, 1, 3]], dim_names=["x", "y"])
>>> assert mesh.shape == [2, 3]
>>> assert mesh.process_ids == [2, 4, 5, 0, 1, 3]