fused_linear_activation¶

paddle.incubate.nn.functional. fused_linear_activation ( x, y, bias, trans_x=False, trans_y=False, activation=None ) [源代码] ¶

全连接线性和激活变换操作符。该方法要求 CUDA 版本大于等于 11.6 。

参数¶

x (Tensor) – 需要进行乘法运算的输入 Tensor 。

y (Tensor) – 需要进行乘法运算的权重 Tensor 。它的阶数必须为 2。

bias (Tensor) – 输入的偏置 Tensor，该偏置会加到矩阵乘法的结果上。

trans_x (bool, 可选) - 是否在乘法之前对 x 进行矩阵转置。

trans_y (bool, 可选) - 是否在乘法之前对 y 进行矩阵转置。

activation (str, 可选) - 目前，可用的激活函数仅限于“GELU”（高斯误差线性单元）和“ReLU”（修正线性单元）。这些激活函数应用于添加偏置之后的输出上。默认值：None。

返回¶

Tensor，变换之后的 Tensor。

代码示例¶

          >>> import paddle
>>> from paddle.incubate.nn.functional import fused_linear_activation

>>> paddle.set_device('gpu')
>>> x = paddle.randn([3, 4])
>>> weight = paddle.randn([4, 5])
>>> bias = paddle.randn([5])
>>> out = fused_linear_activation(x, weight, bias)
>>> print(out.shape)
[3, 5]

         