paddle.io¶

paddle.io 目录下包含飞桨框架数据集定义、数据读取相关的 API。具体如下：

多进程数据读取器相关 API¶

API 名称	API 功能
DataLoader	多进程数据读取器
get_worker_info	获取当前子进程相关信息

API 名称	API 功能
Dataset	映射式(map-style)数据集基类定义接口
IterableDataset	迭代式(iterable-style)数据集基类定义接口
TensorDataset	Tensor 数据集基类定义接口

API 名称	API 功能
ChainDataset	数据集样本级联接口
ComposeDataset	数据集字段组合接口
Subset	数据集取子集接口
random_split	给定子集合 dataset 的长度数组，随机切分出原数据集合的非重复子集合
ConcatDataset	数据集拼接接口

API 名称	API 功能
BatchSampler	批采样器接口
DistributedBatchSampler	分布式批采样器接口, 用于分布式多卡场景