paddle.io¶
paddle.io 目录下包含飞桨框架数据集定义、数据读取相关的 API。具体如下：
多进程数据读取器相关 API¶
API 名称 |
API 功能 |
|---|---|
|
|
多进程数据读取器 |
|
|
获取当前子进程相关信息 |
数据集定义相关 API¶
API 名称 |
API 功能 |
|---|---|
|
|
映射式(map-style)数据集基类定义接口 |
|
|
迭代式(iterable-style)数据集基类定义接口 |
|
|
Tensor 数据集基类定义接口 |
数据集操作相关 API¶
API 名称 |
API 功能 |
|---|---|
|
|
数据集样本级联接口 |
|
|
数据集字段组合接口 |
|
|
数据集取子集接口 |
|
|
给定子集合 dataset 的长度数组，随机切分出原数据集合的非重复子集合 |
采样器相关 API¶
API 名称 |
API 功能 |
|---|---|
|
|
采样器基类定义接口 |
|
|
顺序采样器接口 |
|
|
随机采样器接口 |
|
|
带权重随机采样器接口 |
批采样器相关 API¶
API 名称 |
API 功能 |
|---|---|
|
|
批采样器接口 |
|
|
分布式批采样器接口, 用于分布式多卡场景 |