paddle.nn¶
paddle.nn 目录下包含飞桨框架支持的神经网络层和相关函数的相关API。具体如下:
容器相关¶
API名称 |
API功能 |
---|---|
|
基于OOD实现的动态图Layer |
|
用于保存子层列表 |
|
参数列表容器 |
|
顺序容器;子Layer将按构造函数参数的顺序添加到此容器中 |
|
保存子层到有序字典中,它包含的子层将被正确地注册和添加 |
卷积层¶
API名称 |
API功能 |
---|---|
|
一维卷积层 |
|
一维转置卷积层 |
|
二维卷积层 |
|
二维转置卷积层 |
|
三维卷积层 |
|
三维转置卷积层 |
pooling层¶
API名称 |
API功能 |
---|---|
|
一维自适应平均池化层 |
|
二维自适应平均池化层 |
|
三维自适应平均池化层 |
|
一维自适应最大池化层 |
|
二维自适应最大池化层 |
|
三维自适应最大池化层 |
|
一维平均池化层 |
|
二维平均池化层 |
|
三维平均池化层 |
|
一维最大池化层 |
|
二维最大池化层 |
|
三维最大池化层 |
|
一维最大反池化层 |
|
二维最大反池化层 |
|
三维最大反池化层 |
Padding层¶
API名称 |
API功能 |
---|---|
|
一维填充层 |
|
二维填充层 |
|
三维填充层 |
|
二维零填充层 |
激活层¶
API名称 |
API功能 |
---|---|
|
CELU激活层 |
|
ELU激活层 |
|
GELU激活层 |
|
Hardshrink激活层 |
|
Hardsigmoid激活层 |
|
Hardswish激活层 |
|
Hardtanh激活层 |
|
LeakyReLU 激活层 |
|
LogSigmoid激活层 |
|
LogSoftmax激活层 |
|
Maxout激活层 |
|
PReLU激活层 |
|
ReLU激活层 |
|
ReLU6激活层 |
|
SELU激活层 |
|
Sigmoid激活层 |
|
Silu激活层 |
|
Softmax激活层 |
|
Softplus激活层 |
|
Softshrink激活层 |
|
Softsign激活层 |
|
Swish激活层 |
|
Mish激活层 |
|
Tanh激活层 |
|
Tanhshrink激活层 |
|
Thresholded ReLU激活层 |
Normalization层¶
API名称 |
API功能 |
---|---|
|
Batch Normalization层 |
|
一维Batch Normalization层 |
|
二维Batch Normalization层 |
|
三维Batch Normalization层 |
|
Group Normalization层 |
|
一维Instance Normalization层 |
|
二维Instance Normalization层 |
|
三维Instance Normalization层 |
|
用于保存Normalization层列表 |
|
Local Response Normalization层 |
|
Spectral Normalization层 |
|
Synchronized Batch Normalization层 |
循环神经网络层¶
API名称 |
API功能 |
---|---|
|
双向循环神经网络 |
|
门控循环单元网络 |
|
门控循环单元 |
|
长短期记忆网络 |
|
长短期记忆网络单元 |
|
循环神经网络 |
|
循环神经网络单元基类 |
|
简单循环神经网络 |
|
简单循环神经网络单元 |
Transformer相关¶
API名称 |
API功能 |
---|---|
|
多头注意力机制 |
|
Transformer模型 |
|
Transformer解码器 |
|
Transformer解码器层 |
|
Transformer编码器 |
|
Transformer编码器层 |
线性层¶
API名称 |
API功能 |
---|---|
|
对两个输入执行双线性张量积 |
|
线性变换层 |
Dropout层¶
API名称 |
API功能 |
---|---|
|
具有自归一化性质的dropout |
|
Dropout |
|
一维Dropout |
|
二维Dropout |
Embedding层¶
API名称 |
API功能 |
---|---|
|
嵌入层(Embedding Layer) |
Loss层¶
API名称 |
API功能 |
---|---|
|
BCELoss层 |
|
BCEWithLogitsLoss层 |
|
交叉熵损失层 |
|
CTCLoss层 |
|
层次sigmoid损失层 |
|
Kullback-Leibler散度损失层 |
|
L1损失层 |
|
MarginRankingLoss层 |
|
均方差误差损失层 |
|
NLLLoss层 |
|
平滑L1损失层 |
Vision层¶
API名称 |
API功能 |
---|---|
|
将一个形为[N, C, H, W]或是[N, H, W, C]的Tensor重新排列成形为 [N, C/r**2, H*r, W*r]或 [N, H*r, W*r, C/r**2] 的Tensor |
|
用于调整一个batch中图片的大小 |
|
用于调整一个batch中图片的大小(使用双线性插值方法) |
|
用于调整一个batch中图片的大小(使用最近邻插值方法) |
Clip相关¶
API名称 |
API功能 |
---|---|
|
将一个 Tensor列表 t_list 中所有Tensor的L2范数之和,限定在 clip_norm 范围内 |
|
将输入的多维Tensor X 的L2范数限制在 clip_norm 范围之内 |
|
将输入的多维Tensor X 的值限制在 [min, max] 范围 |
公共层¶
API名称 |
API功能 |
---|---|
|
带beam search解码策略的解码器 |
|
余弦相似度计算 |
|
循环解码 |
|
将一个连续维度的Tensor展平成一维Tensor |
|
计算两个向量之间pairwise的距离 |
|
建立等效层,作为输入的 Placeholder |
|
实现的功能与卷积中用到的im2col函数一样,通常也被称作为im2col过程 |
|
该Op用于将一个滑动局部块组合成一个大的张量,通常也被称为col2im过程 |
卷积相关函数¶
API名称 |
API功能 |
---|---|
|
一维卷积函数 |
|
一维转置卷积函数 |
|
二维卷积函数 |
|
二维转置卷积函数 |
|
三维卷积函数 |
|
三维转置卷积函数 |
Pooling相关函数¶
API名称 |
API功能 |
---|---|
|
一维自适应平均池化 |
|
二维自适应平均池化 |
|
三维自适应平均池化 |
|
一维自适应最大池化 |
|
二维自适应最大池化 |
|
三维自适应最大池化 |
|
一维平均池化 |
|
二维平均池化 |
|
三维平均池化 |
|
一维最大池化 |
|
二维最大池化 |
|
三维最大池化 |
|
一维最大反池化层 |
|
二维最大反池化层 |
|
三维最大反池化层 |
Padding相关函数¶
API名称 |
API功能 |
---|---|
|
依照 pad 和 mode 属性对input进行填充 |
|
依照 pad 对x进行零填充 |
激活函数¶
API名称 |
API功能 |
---|---|
|
celu激活函数 |
|
elu激活函数 |
|
Inplace 版本的 elu API,对输入 x 采用 Inplace 策略 |
|
gelu激活函数 |
|
gumbel_softmax采样激活函数 |
|
hardshrink激活函数 |
|
sigmoid的分段线性逼近激活函数 |
|
hardswish激活函数 |
|
hardtanh激活函数 |
|
leaky_relu激活函数 |
|
log_sigmoid激活函数 |
|
log_softmax激活函数 |
|
maxout激活函数 |
|
prelu激活函数 |
|
relu激活函数 |
|
Inplace 版本的 relu API,对输入 x 采用 Inplace 策略 |
|
relu6激活函数 |
|
selu激活函数 |
|
sigmoid激活函数 |
|
silu激活函数 |
|
softmax激活函数 |
|
Inplace 版本的 softmax API,对输入 x 采用 Inplace 策略 |
|
softplus激活函数 |
|
softshrink激活函数 |
|
softsign激活函数 |
|
swish激活函数 |
|
mish激活函数 |
|
tanhshrink激活函数 |
|
thresholded_relu激活函数 |
Normalization方法¶
API名称 |
API功能 |
---|---|
|
Local Response Normalization函数 |
|
归一化方法 |
|
移除传入 layer 中的权重归一化 |
|
对传入的 layer 中的权重参数进行归一化 |
|
对传入的 layer 中的权重参数进行谱归一化 |
线性处理相关函数¶
API名称 |
API功能 |
---|---|
|
对两个输入执行双线性张量积 |
|
线性变换 |
Dropout方法¶
API名称 |
API功能 |
---|---|
|
一种具有自归一化性质的dropout |
|
Dropout |
|
一维Dropout |
|
二维Dropout |
Embedding相关函数¶
API名称 |
API功能 |
---|---|
|
对角线Embedding 方法 |
|
Embedding 方法 |
损失函数¶
API名称 |
API功能 |
---|---|
|
二值交叉熵损失值 |
|
logits二值交叉熵损失值 |
|
用于计算ctc损失 |
|
用于比较预测结果跟标签之间的相似度 |
|
层次sigmoid损失函数 |
|
用于计算L1损失 |
|
用于计算KL散度损失 |
|
用于计算负对数损失 |
|
用于计算margin rank loss 损失 |
|
用于计算均方差误差 |
|
用于计算nll损失 |
|
成对数据损失计算 |
|
用于计算分类任务中前景类-背景类数量不均衡问题的损失 |
|
用于计算平滑L1损失 |
|
将softmax操作、交叉熵损失函数的计算过程进行合并 |
|
支持 |
公用方法¶
API名称 |
API功能 |
---|---|
|
用于生成仿射变换前后的feature maps的坐标映射关系 |
|
用于计算x1与x2沿axis维度的余弦相似度 |
|
计算输入input和标签label间的交叉熵 |
|
用于调整一个batch中图片的大小 |
|
标签平滑 |
|
将输入'x'中的每个id转换为一个one-hot向量 |
|
将Tensor重新排列 |
|
用于计算预测值和目标值的方差估计 |
|
对每一个卷积核覆盖下的区域,将元素重新排成一列 |
|
该Op用于将一个滑动局部块组合成一个大的张量,通常也被称为col2im。 |
|
整个束搜索结束后使用,获得每个时间步选择的的候选词 id 及其对应的在搜索树中的 parent 节点 |
|
门控线性单元 |
|
用于调整一个batch中图片的大小 |
|
根据输入 x 和 maxlen 输出一个掩码,数据类型为 dtype |
|
用于对输入X做时序通道T上的位移操作,为TSM中使用的操作 |
|
用于调整一个batch中图片的大小 |
|
用于PartialFC类别中心采样 |
初始化相关¶
API名称 |
API功能 |
---|---|
|
使用Numpy数组、Python列表、Tensor来初始化参数 |
|
该接口为参数初始化函数,用于转置卷积函数中 |
|
用于权重初始化,通过输入的value值初始化输入变量 |
|
实现Kaiming正态分布方式的权重初始化 |
|
实现Kaiming均匀分布方式的权重初始化 |
|
随机正态(高斯)分布初始化函数 |
|
用于设置Paddle框架中全局的参数初始化方法 |
|
获取某些激活函数的推荐增益值(增益值可用于对某些初始化API进行设置,以调整初始化值) |
|
通过狄拉克delta函数来初始化3D/4D/5D Tensor,一般用于卷积层,能最大程度保留卷积层输入的特性 |
|
正交矩阵初始化方式,被初始化的参数为(半)正交的 |
|
随机截断正态(高斯)分布初始化函数 |
|
随机均匀分布初始化函数 |
|
实现Xavier权重初始化方法( Xavier weight initializer) |
|
实现Xavier权重初始化方法( Xavier weight initializer) |