WeightNormParamAttr¶

参数¶

• dim (int，可选) - 进行归一化操作(norm)的切片所在维度，是小于权重 Tensor rank 的非负数。比如卷积的权重 shape 是 \([cout, cin, kh, kw]\) , rank 是 4，则 dim 可以选 0,1,2,3；fc 的权重 shape 是 \([cout, cin]\) ，rank 是 2，dim 可以选 0，1。 dim 默认为 None，如果为 None 就对所有元素做归一化(norm)。

• name (str，可选) - 具体用法请参见 Name，一般无需设置，默认值为 None。

• initializer （Initializer，可选) - 初始化参数方法，例如 initializer = fluid.nn.initializer.Constant(1.0)。默认为 None，如果为 None 则使用默认初始化函数 Xavier() 。

• learning_rate (float32，可选) - 学习率，优化过程 \(global\_lr∗parameter\_lr∗scheduler\_factor\) 的学习速率，默认为 1.0。

• regularizer (WeightDecayRegularizer，可选) - 正则化方法。支持两种正则化策略：L1Decay 、 L2Decay，如果在 optimizer (例如 SGD ) 中也 设置了正则化，optimizer 中的正则化将被忽略。默认值为 None，表示没有正则化。

• trainable (bool) - 可选，指明参数是否可训练，默认为 True。

• do_model_average (bool) - 可选，指明参数是否需要模型平均化操作(Model Average)，默认为 False。

• need_clip (bool) - 可选，指明参数梯度是否需要在优化器中进行 clip，默认为 True。

代码示例¶

import paddle

paddle.enable_static()

data = paddle.static.data(name="data", shape=[3, 32, 32], dtype="float32")

fc = paddle.static.nn.fc(x=data,
                         size=1000,
                         weight_attr=paddle.static.WeightNormParamAttr(
                             dim=None,
                             name='weight_norm_param',
                             initializer=paddle.nn.initializer.Constant(1.0),
                             learning_rate=1.0,
                             regularizer=paddle.regularizer.L2Decay(0.1),
                             trainable=True,
                             do_model_average=False,
                             need_clip=True))