统一NLU任务是通过一个模型实现分类、抽取等任务，而不需要额外添加任何层。
2018年继BERT出现之后，标志着整个NLP领域进入一个预训练的时代，NLP终于又迎来了一次突破性发展。现有的一些预训练模型已经可以在十亿级别以下的参数通过fine-tuning方式达到SOTA。但是面对Few-shot，甚至Zero-shot 场景下的NLU任务仍然表现无力。
近年来的主流做法是利用上百亿乃至千亿的预训练模型统一将NLU任务转化为文本生成任务，这样通过人工构造prompt使得大模型可以应用于Zero-shot任务上。
而现有的预训练模型面对Zero-shot场景下的任务表现不良，大多都需要在下游任务上进行fine-tuing才能达到很好的性能。使用时，需要在其顶部针对具体的任务增加对应的head层，并且在不同任务之间无法迁移，需要重新训练。
所以，如何统一NLU任务，如何将NLU任务集成到预训练的过程中，成为了现今的研究热点。
本期千言万语邀请千言技术专家 阿里云NLP工程师 朱杰为大家带来分享，将主要聚焦于自然语言理解（NLU）的统一问题，对近期会议出现的一些前沿方法进行介绍。
观看直播 参与抽奖 赢精美礼品
活动详情
拓展阅读
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~
