百度吴甜提出大模型落地关键路径业内首发行业大模型

发布日期：2022-05-24 02:11浏览量：1117次

5月20日，由深度学习技术与应用国家工程研究中心主办、飞桨承办的WAVE SUMMIT 2022深度学习开发者峰会在线上举办。百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜发布飞桨文心最新全景图，提出支撑大模型产业落地的3个关键路径，并在业内首发行业大模型。

百度集团副总裁

深度学习技术及应用国家工程研究中心副主任吴甜

近年来，深度学习作为人工智能时代的通用型基础技术，推动了AI工业大生产。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在演讲中表示，人工智能越来越普惠，赋能千行百业，惠及千家万户。

AI大模型进一步增强了AI技术的通用性，也让广大开发者可以更低成本、低门槛，面向场景研发更好用的AI模型，助力普惠AI。百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜表示，今年是大模型产业落地的关键年。她指出，大模型技术与真实场景需求的有效匹配是落地要解决的关键问题，并给出支撑大模型产业落地的3个关键路径：建设更适配场景需求的大模型体系，提供全流程支持应用落地的工具和方法，营造激发创新的开放生态。

基于产业实践大模型落地的关键解法，飞桨文心全景图全面升级。在模型层，一次性发布10个大模型，形成了涵盖基础大模型、任务大模型、行业大模型的三级体系，全面满足产业应用需求；配套工具与平台层，发布大模型开发套件、API和内置了文心大模型能力的EasyDL和BML开发平台，全方位降低应用门槛；共创共享飞桨生态，同时建设大模型创意和探索社区旸谷，让更多人零距离接触到最先进的AI大模型技术，激发创新与创意。

文心大模型迎来十大新成员

业界首发行业大模型

本次峰会上，吴甜带来了文心大模型发布以来的最大一次升级，其中最值得关注的是，业界首发的文心 · 行业大模型。

文心 · 行业大模型基于通用数据训练的文心大模型，加上行业应用场景中大量存在着行业特有的大数据和知识，结合行业相关的创新算法设计，将进一步提升大模型对行业应用的适配性。吴甜介绍，在能源电力和金融领域，文心联合国家电网研发了知识增强的能源行业NLP大模型国网-百度·文心，联合浦发银行研发了知识增强的金融行业NLP大模型浦发-百度·文心，目前已在电力、金融相关任务上取得显著的效果提升。

国家电网有限公司数字化工作部人工智能工作负责人蒋炜博士表示，作为中央企业数字化转型的排头兵，国家电网公司联合百度公司共同打造行业级人工智能基础设施，探索研发电力人工智能联合大模型，不仅提升了传统电力专用模型的精度，而且大幅降低了研发门槛，实现了算力、数据、技术等资源的统筹优化。下一步，国家电网公司将继续深化双方技术合作，推动人工智能大模型在电力领域的技术攻关及应用探索，面向更典型的电力业务场景，构建更具电力特色的人工智能大模型。

上海浦东发展银行总行信息科技部副总经理万化表示，浦发银行与百度在AI的多个方面实现优势互补，联合研发了面向金融行业的大模型「浦发-百度·文心」，并且已在金融行业各类智能场景进行验证。未来，浦发银行将与百度继续深入合作，在现有金融行业大模型的基础上不断迭代，持续地降低金融AI应用落地的门槛。

除行业大模型外，此次还发布文心基础大模型和任务大模型共八个，包括：融合任务相关知识的千亿大模型ERNIE 3.0 Zeus，多任务视觉表征学习VIMER-UFO 2.0、商品图文搜索表征学习VIMER-UMS、文档图像表征学习VIMER-StrucTexT 2.0，语音-语言跨模态大模型ERNIE-SAT、地理-语言跨模态大模型ERNIE-GeoL，以及面向生物计算领域的化合物表征学习HELIX-GEM和蛋白质结构分析HELIX-Fold。

以基础NLP大模型为例，ERNIE家族增添新成员，融合任务相关知识的千亿大模型ERNIE3.0 Zeus全新发布，在学习海量数据和知识的基础上，进一步学习百余种不同形式的任务知识，增强了模型的效果；通过融合层次化提示的预训练，更好地建模不同任务的共性与特性；再通过将不同的任务组织成统一的自然语言形式，统一建模增强模型的泛化能力。相对其他模型，ERNIE 3.0 Zeus在各类NLP任务上表现出了更强的零样本和小样本学习能力。

飞桨全面支撑

文心大模型生产及应用

文心大模型作为“产业级知识增强”大模型，在飞桨训练推理一体化技术的有力支撑下，实现了高效生产并真正为产业所用。飞桨作为我国首个自主研发、功能丰富、开源开放的产业级深度学习平台，在训练层面自主研发了端到端自适应分布式架构，既包含了并行训练策略的创新，也包含针对异构硬件的自适应并行训练支持，打造了框架与算力、算法相结合三位一体的大模型训练解决方案，实现了端到端的极致性能优化；在推理层面，飞桨推出了针对大模型的压缩、推理、服务化全流程部署方案，拥有业内领先性能，并已支撑自然语言理解、对话、跨模态生成等各类大模型的在线应用。

为了让开发者更加方便、快速地使用文心大模型，飞桨发布了一系列大模型开发套件、大模型API和集成文心大模型的飞桨企业版EasyDL和BML开发平台，面向不同类型的开发者，全面释放大模型的使用效能，进一步降低应用门槛。目前，EasyDL和BML平台已有累计超过1万名开发者基于文心大模型开发，创建了超过3万个任务，并应用到输电通路巡检、零部件瑕疵检测、农业病虫害识别、新闻资讯创作等大量场景中。