神经网络模型已经成功应用于大量自然语言处理任务。当今主流的端到端深度学习模型都是黑盒模型，人们难以知道模型做出某一决策的依据，从而不敢轻易放心地使用。同时，开发人员也很难进行针对性的调整（比如修改网络架构），难以让决策过程更透明与准确。

深度学习模型的可解释性研究可以在做出决策的同时给出相应的依据，从而更明确NLP模型的业务适用场景，整个模型决策过程也是可控可反馈的，这就使得用户和监管人员对AI系统的信赖度得以增加。

另一方面，可解释性是衡量人工智能系统性能的重要指标之一。比如在医疗、金融、法律等应用领域中，不可知不可控的AI技术应用会带来争议和质疑。NLP模型的可解释性研究能够提升人们对深度学习技术的可信度，实现更加可知可控的推理决策。

这些因素都促使人们努力解释这些黑盒模型是如何工作的。我国国务院印发的《新一代人工智能发展规划》中提到可解释性AI（XAI）研究的重要性、信通院发布的《可信人工智能白皮书》提到了可解释人工智能的研究、国家自然科学基金委员会也发布了“可解释、可通用的下一代人工智能方法”重大研究计划。同时，XAI研究在国际上也受到了越来越多的关注，许多国际组织机构将XAI作为重要的技术发展战略。美国和欧盟都在最近几年开展了可解释人工智能计划，一些研究机构也顺应发布了《可解释人工智能白皮书》等。

本期『千言万语』邀请李东方博士，为大家介绍关于自然语言处理模型的可解释性的发现和见解。

可解释性能帮我们做些什么

此次分享关注模型校准和医学自动诊断任务。 通过这些工作表明可解释的相关技术能够在自然语言处理领域不同任务发挥一定作用。

医学问答中的可解释性

此次分享关注于融合知识的模型来解决医学问答 , 表明显式和隐式领域知识表示的结合对机器阅读理解的性能改进和可解释性很有帮助。

可解释性与鲁棒性的关联

通过研究结果发现：

① 在自然语言处理模型中，可解释性和对抗性鲁棒性之间存在联系；

②（不）可靠的解释方法可能是由模型缺乏鲁棒性造成的。

李东方博士来自哈尔滨工业大学（深圳）计算机学院智能计算研究中心，目前专注于可解释自然语言处理领域的研究。曾在AAAI、 EMNLP、COLING等会议发表相关论文，其硕士和本科分别毕业于 哈尔滨工业大学（深圳） 和中国海洋大学计算机系。

『千言万语』

技术分享栏目

『千言万语』是千言中文开源数据集开设的月度技术分享栏目。在这里，你可以听到前沿的NLP研究进展、优质的评测技术方案分享以及一切你想听到的中文开源数据集相关的知识。

看直播，参与抽奖，赢精美礼品哦！

活动详情如下，欢迎扫码报名观看

 

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~