glu¶

paddle.nn.functional. glu ( x, axis=- 1, name=None ) [源代码] ¶

门控线性单元。输入按照给定的维度二等分，其中第一部分被用作内容，第二部分经过一个 sigmoid 函数之后被用作门限。输入是内容和门限的逐元素乘积。

\[\mathrm{GLU}(a, b) = a \otimes \sigma(b)\]

参数¶

x (Tensor) - 输入的 Tensor，数据类型为 float32 或 float64。

axis (int，可选) - 沿着该轴将输入二等分。\(D\) 为输入的维数，则 axis 应该在 \([-D, D)\) 的范围内。如 axis 为负数，则相当于 \(axis + D\)。

name (str，可选) - 具体用法请参见 Name，一般无需设置，默认值为 None。

返回¶

Tensor，数据类型同 x 一致，在指定的轴上其尺寸减半。

代码示例¶

          import paddle
from paddle.nn import functional as F

x = paddle.to_tensor(
    [[-0.22014759, -1.76358426,  0.80566144,  0.04241343],
     [-1.94900405, -1.89956081,  0.17134808, -1.11280477]]
)
print(F.glu(x).numpy())
# array([[-0.15216254, -0.9004892 ],
#        [-1.0577879 , -0.46985325]], dtype=float32)

         