dynamic_gru¶

paddle.fluid.layers. dynamic_gru ( input, size, param_attr=None, bias_attr=None, is_reverse=False, gate_activation='sigmoid', candidate_activation='tanh', h_0=None, origin_mode=False ) [源代码] ¶

注意：该OP的输入只能是LoDTensor，如果您需要处理的输入是Tensor类型，请使用StaticRNN（fluid.layers. StaticRNN ）。

该OP用于在完整序列上逐个时间步的进行单层Gated Recurrent Unit（GRU）的计算，单个时间步内GRU的计算支持以下两种计算方式：

如果origin_mode为True，则使用的运算公式来自论文 Learning Phrase Representations using RNN Encoder Decoder for Statistical Machine Translation 。

如果origin_mode为False，则使用的运算公式来自论文 Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling 。

公式如下：

其中，\(x_t\) 为当前时间步的输入，这个输入并非 input，该OP不包含 \(W_{ux}x_{t}, W_{rx}x_{t}, W_{cx}x_{t}\) 的计算，注意 要在该OP前使用大小为 size 的3倍的全连接层并将其输出作为 input； \(h_{t-1}\) 为前一时间步的隐状态 hidden； \(u_t\) 、 \(r_t\) 、 \(\tilde{h_t}\) 和 \(h_t\) 分别代表了GRU单元中update gate（更新门）、reset gate（重置门）、candidate hidden（候选隐状态）和隐状态输出；\(\odot\) 为逐个元素相乘； \(W_{uh}, b_u\) 、 \(W_{rh}, b_r\) 和 \(W_{ch}, b_c\) 分别代表更新门、重置门和候选隐状态在计算时使用的权重矩阵和偏置。在实现上，三个权重矩阵合并为一个 \([D, D \times 3]\) 形状的Tensor存放，三个偏置拼接为一个 \([1, D \times 3]\) 形状的Tensor存放，其中 \(D\) 为隐单元的数目；权重Tensor存放布局为：\(W_{uh}\) 和 \(W_{rh}\) 拼接为 \([D, D \times 2]\) 形状位于前半部分，\(W_{ch}\) 以 \([D, D]\) 形状位于后半部分。

import paddle.fluid as fluid

dict_dim, emb_dim = 128, 64
data = fluid.data(name='sequence',
          shape=[None],
          dtype='int64',
          lod_level=1)
emb = fluid.embedding(input=data, size=[dict_dim, emb_dim])
hidden_dim = 512
x = fluid.layers.fc(input=emb, size=hidden_dim * 3)
hidden = fluid.layers.dynamic_gru(input=x, size=hidden_dim)