deform_conv2d

paddle.vision.ops. deform_conv2d ( x, offset, weight, bias=None, stride=1, padding=0, dilation=1, deformable_groups=1, groups=1, mask=None, name=None ) [源代码]

deform_conv2d 对输入 4-D Tensor 计算 2-D 可变形卷积。给定输入 Tensor x,输出 Tensor y,可变形卷积运算如下所示:

可形变卷积 v2:

\(y(p) = \sum_{k=1}^{K}{w_k * x(p + p_k + \Delta p_k) * \Delta m_k}\)

可形变卷积 v1:

\(y(p) = \sum_{k=1}^{K}{w_k * x(p + p_k + \Delta p_k)}\)

其中 \(\Delta p_k\)\(\Delta m_k\) 分别为第 k 个位置的可学习偏移和调制标量。在 deformable conv v1 中 \(\Delta m_k\) 为 1。

具体细节可以参考论文:<<Deformable ConvNets v2: More Deformable, Better Results>><<Deformable Convolutional Networks>>

示例

输入:

input 形状:\((N, C_{in}, H_{in}, W_{in})\)

卷积核形状:\((C_{out}, C_{in}, H_f, W_f)\)

offset 形状:\((N, 2 * H_f * W_f, H_{out}, W_{out})\)

mask 形状:\((N, H_f * W_f, H_{out}, W_{out})\)

输出:

输出形状:\((N, C_{out}, H_{out}, W_{out})\)

其中

\[ \begin{align}\begin{aligned}H_{out}&= \frac{(H_{in} + 2 * paddings[0] - (dilations[0] * (H_f - 1) + 1))}{strides[0]} + 1\\W_{out}&= \frac{(W_{in} + 2 * paddings[1] - (dilations[1] * (W_f - 1) + 1))}{strides[1]} + 1\end{aligned}\end{align} \]

参数

  • x (Tensor) - 形状为 \([N, C, H, W]\) 的输入 Tensor,数据类型为 float32 或 float64。

  • offset (Tensor) – 可变形卷积层的输入坐标偏移,数据类型为 float32 或 float64。

  • weight (Tensor) – 卷积核参数,形状为 \([M, C/g, kH, kW]\),其中 M 是输出通道数,g 是 group 组数,kH 是卷积核高度尺寸,kW 是卷积核宽度尺寸。数据类型为 float32 或 float64。

  • bias (Tensor,可选) - 可变形卷积偏置项,形状为 \([M,]\)

  • stride (int|list|tuple,可选) - 步长大小。卷积核和输入进行卷积计算时滑动的步长。如果它是一个列表或元组,则必须包含两个整型数:(stride_height,stride_width)。若为一个整数,stride_height = stride_width = stride。默认值:1。

  • padding (int|list|tuple,可选) - 填充大小。卷积核操作填充大小。如果它是一个列表或元组,则必须包含两个整型数:(padding_height,padding_width)。若为一个整数,padding_height = padding_width = padding。默认值:0。

  • dilation (int|list|tuple,可选) - 空洞大小。空洞卷积时会使用该参数,卷积核对输入进行卷积时,感受野里每相邻两个特征点之间的空洞信息。如果空洞大小为列表或元组,则必须包含两个整型数:(dilation_height,dilation_width)。若为一个整数,dilation_height = dilation_width = dilation。默认值:1。

  • deformable_groups (int,可选) - 可变形卷积组数。默认值:1。

  • groups (int,可选) - 二维卷积层的组数。根据 Alex Krizhevsky 的深度卷积神经网络(CNN)论文中的成组卷积:当 group=n,输入和卷积核分别根据通道数量平均分为 n 组,第一组卷积核和第一组输入进行卷积计算,第二组卷积核和第二组输入进行卷积计算,……,第 n 组卷积核和第 n 组输入进行卷积计算。默认值:1。

  • mask (Tensor,可选) – 可变形卷积层的输入掩码,当使用可变形卷积算子 v1 时,请将 mask 设置为 None,数据类型为 float32 或 float64。

  • name (str,可选) - 具体用法请参见 Name,一般无需设置,默认值为 None。

返回

可变形卷积输出的 4-D Tensor,数据类型为 float32 或 float64。

代码示例

#deformable conv v2:

import paddle
input = paddle.rand((8, 1, 28, 28))
kh, kw = 3, 3
weight = paddle.rand((16, 1, kh, kw))
# offset shape should be [bs, 2 * kh * kw, out_h, out_w]
# mask shape should be [bs, hw * hw, out_h, out_w]
# In this case, for an input of 28, stride of 1
# and kernel size of 3, without padding, the output size is 26
offset = paddle.rand((8, 2 * kh * kw, 26, 26))
mask = paddle.rand((8, kh * kw, 26, 26))
out = paddle.vision.ops.deform_conv2d(input, offset, weight, mask=mask)
print(out.shape)
# returns
[8, 16, 26, 26]

#deformable conv v1:

import paddle
input = paddle.rand((8, 1, 28, 28))
kh, kw = 3, 3
weight = paddle.rand((16, 1, kh, kw))
# offset shape should be [bs, 2 * kh * kw, out_h, out_w]
# In this case, for an input of 28, stride of 1
# and kernel size of 3, without padding, the output size is 26
offset = paddle.rand((8, 2 * kh * kw, 26, 26))
out = paddle.vision.ops.deform_conv2d(input, offset, weight)
print(out.shape)
# returns
[8, 16, 26, 26]