在2017年，Transformer模型由论文《Attention is all you need》提出，最开始被应用于机器翻译任务上并取得了很好的效果。它摒弃了传统LSTM的串行结构，使用了基于Self Attention的模型结构，具有更好的并行计算能力，这使得它在大规模数据模型训练方面更有优势。

后来基于Transformer结构的模型大放异彩，特别是在2018年预训练模型BERT的提出，其在多项NLP任务上均取得了突破性的进展，具有里程碑式的意义。自此，不管是学术界，还是工业界均掀起了基于Transformer的预训练模型研究和应用的热潮，并且逐渐从NLP延伸到CV、语音等多项领域。各种基于Transformer结构的变体模型在模型结构、运行效率和不同领域模型应用等方面纷纷被提出，同时各个领域的多项任务指标更是不断被刷新，深度学习领域进入了一个新的时代。

本期我们将展现Transformer类模型实现的4款NLP案例实践，包括机器翻译、阅读理解、文本分类和情感分析。如果你对这些内容感兴趣，赶快来一起学习吧。

机器翻译（machine translation, MT）是用计算机来实现不同语言之间翻译的技术。被翻译的语言通常称为源语言（source language），翻译成的结果语言称为目标语言（target language）。机器翻译即实现从源语言到目标语言转换的过程，是自然语言处理的重要研究领域之一。一般而言，机器翻译的建模方式如下图所示，给定源语言，期望模型能够翻译成目标语言。

本项目先带领大家解读Transformer的基本原理，然后剖析Transformer在机器翻译上应用的机制，最后讲解基于Transformer的机器翻译的代码实践，即在中英文数据集IWSLT 2015上训练训练一个机器翻译模型。

项目维护者：PaddleEdu

主要框架/模型库：飞桨核心框架PaddlePaddle，飞桨自然语言处理模型库PaddleNLP

项目链接：

https://aistudio.baidu.com/aistudio/projectdetail/2311016

ERNIE模型在

阅读理解中的应用

机器阅读理解(Machine Reading Comprehension) 是指让机器阅读文本，然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题，对于提升机器的智能水平、使机器具有持续知识获取的能力等具有重要价值，近年来受到学术界和工业界的广泛关注。

阅读理解的经典建模方式如下图所示，给定一篇文章和一个问题，期望模型能够从这篇文章中找出该问题对应的答案。

本案例使用ERNIE在DuReader_robust数据集上实现了阅读理解任务。ERNIE是百度发布一款预训练模型，它通过引入三种级别的Knowledge Masking帮助模型学习语言知识，并且在多项NLP任务上超越了BERT。当使用ERNIE模型进行阅读理解任务会达到什么样的效果，赶快来看看吧。

项目维护者：PaddleEdu

主要框架/模型库：飞桨核心框架PaddlePaddle，飞桨自然语言处理模型库PaddleNLP

项目链接：

https://aistudio.baidu.com/aistudio/projectdetail/2333137

基于ERNIE实现

9项GLUE任务

The General Language Understanding Evaluation benchmark (GLUE) 是一个被广为使用的经典数据集合，其包含多项子数据集，如下图所示，这些数据集经常被用来验证各项NLP模型性能。

本实验将基于ERNIE模型对以上的9项GLUE任务进行训练，ERNIE在预训练过程中增加了Knowledge Masking帮助模型学习语言知识，相比BERT，其具有更强的语言理解能力。希望本案例能够帮助大家了解ERNIE模型在这9项任务上的实现以及相应表现。

 

项目维护者：PaddleEdu

主要框架/模型库：飞桨核心框架PaddlePaddle，飞桨自然语言处理模型库PaddleNLP

项目链接：

https://aistudio.baidu.com/aistudio/projectdetail/2345396

XLNet模型在

情感分析中的应用

自然语言是人类传递信息的一种载体，同时它也能表达人类交流时的情感。一段对话或者一句评论都能蕴含着丰富的感情色彩：比如高兴、快乐、喜欢、讨厌、忧伤等等。如下图所示，利用机器自动分析这些情感倾向，不但有助于帮助企业了解消费者对其产品的感受，为产品改进提供依据；同时还有助于企业分析商业伙伴们的态度，以便更好地进行商业决策。通常情况下，我们往往将情感分析任务定义为一个分类问题，即使用计算机判定给定的一段文字所表达的情感属于积极情绪，还是消极情绪。

本实验将使用XLNet模型在IMDB电影评论数据集上建模情感分析，XLNet模型是一种能看得见双向信息的广义自回归模型，并且在建模过程中引入了Segment循环机制，从而保证模型能够建模更长的文本序列依赖关系。该情感分析任务有助于帮助消费者了解一部电影的质量，也可用于电影的推荐。

项目维护者：PaddleEdu

主要框架/模型库：飞桨核心框架PaddlePaddle，飞桨自然语言处理模型库PaddleNLP

项目链接：

https://aistudio.baidu.com/aistudio/projectdetail/2333184

了解更多

更多Transformer类模型在NLP领域的理论及实践内容，欢迎访问下方链接查看。上述案例使用过程中如有任何问题，可以点击阅读原文提issue，或者扫描下方二维码加入QQ群交流，目前已有2100+同学一起学习。

合集地址：

https://aistudio.baidu.com/aistudio/projectdetail/2277159

长按下方二维码立即

Star

更多信息：

1. 飞桨官方QQ群：793866180

2. 飞桨官网网址：

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址：

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn