模型参数¶

初始化方式¶

fluid 通过设置 ParamAttr 的 initializer 属性为单个 parameter 设置初始化方式。 示例如下：

param_attrs = fluid.ParamAttr(name="fc_weight",
                          initializer=fluid.initializer.ConstantInitializer(1.0))
y_predict = fluid.layers.fc(input=x, size=10, param_attr=param_attrs)

以下为 fluid 支持的初始化方式：

6. UniformInitializer
--------------------

正则化方式¶

fluid 通过设置 ParamAttr 的 regularizer 属性为单个 parameter 设置正则化。

param_attrs = fluid.ParamAttr(name="fc_weight",
                          regularizer=fluid.regularizer.L1DecayRegularizer(0.1))
y_predict = fluid.layers.fc(input=x, size=10, param_attr=param_attrs)

以下为 fluid 支持的正则化方式：

• cn_api_fluid_regularizer_L1DecayRegularizer (别名：L1Decay)

• cn_api_fluid_regularizer_L2DecayRegularizer (别名：L2Decay)

Clipping¶

fluid 通过设置 ParamAttr 的 gradient_clip 属性为单个 parameter 设置 clipping 方式。

param_attrs = fluid.ParamAttr(name="fc_weight",
                          regularizer=fluid.regularizer.L1DecayRegularizer(0.1))
y_predict = fluid.layers.fc(input=x, size=10, param_attr=param_attrs)

以下为 fluid 支持的 clipping 方式：

模型平均¶

fluid 通过 ParamAttr 的 do_model_average 属性设置单个 parameter 是否进行平均优化。 示例如下：

param_attrs = fluid.ParamAttr(name="fc_weight",
                          do_model_average=true)
y_predict = fluid.layers.fc(input=x, size=10, param_attr=param_attrs)

在 miniBatch 训练过程中，每个 batch 过后，都会更新一次 parameters，模型平均做的就是平均最近 k 次更新产生的 parameters。

平均后的 parameters 只是被用来进行测试和预测，其并不参与实际的训练过程。

具体 API 请参考：cn_api_fluid_optimizer_ModelAverage