BatchNorm2D¶
- paddle.nn.BatchNorm2D(num_features, momentum=0.9, epsilon=1e-05, weight_attr=None, bias_attr=None, data_format='NCHW', name=None):
构建 BatchNorm2D
类的一个可调用对象,具体用法参照 代码示例
。可以处理 4D 的 Tensor,实现了批归一化层(Batch Normalization Layer)的功能,可用作卷积和全连接操作的批归一化函数,根据当前批次数据按通道计算的均值和方差进行归一化。更多详情请参考:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
当训练时 \(\mu_{\beta}\) 和 \(\sigma_{\beta}^{2}\) 是 minibatch 的统计数据。计算公式如下:
\(x\):批输入数据
\(m\):当前批次数据的大小
当预测时,track_running_stats = True \(\mu_{\beta}\) 和 \(\sigma_{\beta}^{2}\) 是全局(或运行)统计数据(moving_mean 和 moving_variance),通常来自预先训练好的模型。计算公式如下:
归一化函数公式如下:
\(\epsilon\):添加较小的值到方差中以防止除零
\(\gamma\):可训练的比例参数
\(\beta\):可训练的偏差参数
参数¶
num_features (int) - 指明输入
Tensor
的通道数量。epsilon (float,可选) - 为了数值稳定加在分母上的值。默认值:1e-05。
momentum (float,可选) - 此值用于计算
moving_mean
和moving_var
。默认值:0.9。更新公式如上所示。weight_attr (ParamAttr|bool,可选) - 指定权重参数属性的对象。如果为 False,则表示每个通道的伸缩固定为 1,不可改变。默认值为 None,表示使用默认的权重参数属性。具体用法请参见 cn_api_ParamAttr 。
bias_attr (ParamAttr,可选) - 指定偏置参数属性的对象。如果为 False,则表示每一个通道的偏移固定为 0,不可改变。默认值为 None,表示使用默认的偏置参数属性。具体用法请参见 cn_api_ParamAttr 。
data_format (string,可选) - 指定输入数据格式,数据格式可以为"NCHW"。默认值:“NCHW”。
name (str,可选) - 具体用法请参见 Name,一般无需设置,默认值为 None。
返回¶
无
形状¶
input:形状为(批大小,通道数,高度,宽度)的 4-D Tensor 或(批大小,通道数,宽度,高度)的 4-D Tensor。
output:和输入形状一样。
目前训练时设置 track_running_stats 为 False 是无效的,实际还是会按照 True 的方案保存全局均值和方差。之后的版本会修复此问题。
代码示例¶
import paddle
x = paddle.rand((2, 1, 2, 3))
batch_norm = paddle.nn.BatchNorm2D(1)
batch_norm_out = batch_norm(x)
print(batch_norm_out)