复杂网络¶

在处理复杂功能时，我们通常需要写大量的代码来构建复杂的神经网络。因此，为了方便用户更加容易地搭建复杂网络模型，我们提供了一些比较常用的基本函数模块，以此来简化用户的代码量，从而降低开发成本。这些模块通常是由细粒度的函数根据一定的逻辑拼接组合而成，实现代码请参考 nets.py 。

1.simple_img_conv_pool¶

simple_img_conv_pool 是由 cn_api_fluid_layers_conv2d 与 cn_api_fluid_layers_pool2d 串联而成。该模块在图像分类模型中广泛使用，比如应用在 MNIST 数字分类的问题。

API Reference 请参考 cn_api_fluid_nets_simple_img_conv_pool

2.img_conv_group¶

img_conv_group 是由 cn_api_fluid_layers_conv2d , cn_api_fluid_layers_batch_norm, cn_api_fluid_layers_dropout 和 cn_api_fluid_layers_pool2d 组成。该模块可以实现多个 cn_api_fluid_layers_conv2d , cn_api_fluid_layers_batch_norm 和 cn_api_fluid_layers_dropout 的串联单元与一个 cn_api_fluid_layers_pool2d 的组合。其中， cn_api_fluid_layers_conv2d , cn_api_fluid_layers_batch_norm 和 cn_api_fluid_layers_dropout 的数量都可以分别控制，从而得到多样的组合。该模块广泛使用在比较复杂的图像分类任务中，比如 VGG 。

API Reference 请参考 cn_api_fluid_nets_img_conv_group

3.sequence_conv_pool¶

sequence_conv_pool 是由 cn_api_fluid_layers_sequence_conv 与 cn_api_fluid_layers_sequence_pool 串联而成。该模块在自然语言处理以及语音识别等领域均有广泛应用，比如文本分类模型 , TagSpace 以及 Multi-view Simnet 等模型。

API Reference 请参考 cn_api_fluid_nets_sequence_conv_pool

4.glu¶

glu 全称 Gated Linear Units，来源于论文 Language Modeling with Gated Convolutional Networks ，由 cn_api_fluid_layers_split ， cn_api_fluid_layers_sigmoid 和 cn_api_fluid_layers_elementwise_mul 组成。它会把输入数据均分为 2 等份，并对第二部分求 Sigmoid , 然后再与第一部分数据求点乘得到输出。

API Reference 请参考 cn_api_fluid_nets_glu

5.scaled_dot_product_attention¶

scaled_dot_product_attention 来源于论文 Attention Is All You Need ，主要是由 cn_api_fluid_layers_fc 和 cn_api_fluid_layers_softmax 组成。对于输入数据 Queries , Key 和 Values 按照如下公式求出 Attention 。

\[Attention(Q, K, V)= softmax(QK^\mathrm{T})V\]

该模块广泛使用在机器翻译的模型中，比如 Transformer 。

API Reference 请参考 cn_api_fluid_nets_scaled_dot_product_attention