weight_norm

paddle.nn.utils. weight_norm ( layer, name='weight', dim=0 ) [源代码]

根据以下公式对传入的 layer 中的权重参数进行归一化：

\[\mathbf{w} = g \dfrac{v}{\|v\|}\]

权重归一化可以将神经网络中权重向量的长度与其方向解耦，权重归一化可以用两个变量(例如：代表长度的变量 weight_g 和代表方向的变量 weight_v)来代替由名字(例如：weight)指定的变量。详细可以参考论文：A Simple Reparameterization to Accelerate Training of Deep Neural Networks

参数

  • layer (paddle.nn.Layer) - 要添加权重归一化的层。

  • name (str，可选) - 权重参数的名字。默认值为 weight。

  • dim (int|None，可选) - 进行归一化操作的切片所在维度，是小于权重 Tensor rank 的非负数。比如卷积的权重 shape 是 [cout,cin,kh,kw] , rank 是 4，则 dim 可以选 0,1,2,3；fc 的权重 shape 是 [cout,cin] ，rank 是 2，dim 可以选 0，1。如果为 None 就对所有维度上的元素做归一化。默认：0。

返回

Layer，添加了权重归一化 hook 的层。

代码示例

from paddle.nn import Conv2D
from paddle.nn.utils import weight_norm

conv = Conv2D(3, 5, 3)
wn = weight_norm(conv)
print(conv.weight_g.shape)
# [5]
print(conv.weight_v.shape)
# [5, 3, 3, 3]