百度飞桨（PaddlePaddle）总架构师、集团机器学习平台TOC主席，中国计算机学会（CCF）高级会员。2008年从北京大学毕业后加入百度，长期从事机器学习相关的技术研发、平台建设和产品应用工作，相关成果在广泛业务中发挥了重要影响。曾构建了百度首个大规模分布式机器学习训练系统，最早将机器学习技术引入百度搜索排序，建设了百度最早的机器学习基础算法库和实验平台，是百度深度学习技术最早一批研究人员。参与国家“973计划”、国家重点研发计划和科技创新2030重大项目等多个国家项目课题研究。曾获中国电子学会科技进步一等奖、北京市科学技术进步奖一等奖 、CCF杰出工程师奖。
出席嘉宾
复旦大学计算机学院教授，担任中国中文信息学会理事、上海市计算机学会自然语言处理专委会主任等，主要研究方向为自然语言处理基础技术和基础模型，发表CCF A/B类论文80余篇，被引用1万余次，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，有5篇论文入选ACL/EMNLP等会议的最有影响力论文，主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用，发布了CPT、BART-Chinese、ElasticBERT等中文预训练模型，在中文模型中下载量排名前列。曾获中国科协青年人才托举工程项目、国家优青项目、科技创新2030“新一代人工智能”重大项目课题等，2020年获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人），2022年获钱伟长中文信息处理科学技术奖一等奖（第一完成人）。培养学生多人次获得国家一级学会优博。
2022年底，OpenAI公司发布了ChatGPT。ChatGPT可以根据用户输入的指令完成各种语言相关的任务，例如写文章、写代码、回答问题、日常聊天等等，能够极大地提高人们的生产力，这归功于它所表现出的强大的意图理解能力、流畅的对话能力和丰富的世界知识。ChatGPT基于千亿规模参数的大型语言模型。目前，ChatGPT的技术细节及模型参数均未公开，但展现了基于大语言模型研发通用人工智能助手广阔的研究和应用前景。本报告主要围绕ChatGPT介绍大型语言模型的能力评测、能力演化路线分析以及如何在下游任务中更高效利用大模型的能力。
智源人工智能研究院自然语言和多模态研究负责人及FlagAI飞智开源项目负责人，目前专注于生成模型和多语言多模态模型研究。曾为Facebook AI Research（FAIR）初期成员之一，主导过通用Embedding模型StarSpace、超大规模图模型PyTorch-BigGraph和实体链接模型BLINK等多个深度学习研究项目和相应工程落地。
近年来，多模态大模型技术飞速发展。语言、视觉模态的融合和对齐，使得多模态大模型在多项任务中取得了惊人的表现，也带来了AIGC在研究和应用层面的爆发。本次报告将介绍多模态预训练大模型发展的几个关键里程碑以及智源研究院在多语言、多模态大模型方向所做的工作。同时也将介绍多模态大模型的典型应用场景。
百度计算机视觉首席科学家，负责计算机视觉领域的研究、技术创新和产品研发。加入百度之前，曾任微软亚洲研究院视觉计算组首席研究员。研究领域为计算机视觉、深度学习及多媒体搜索。他的代表工作包括高分辨率神经网络（HRNet）、基于有监督的区域特征融合（DRFI）的显著目标检测、以及基于近邻图的大规模最近邻搜索（NGS，SPTAG）等。他曾担任过许多人工智能会议的领域主席，如 CVPR、ICCV、ECCV、AAAI、IJCAI、ACM MM等。他现在是IEEE TPAMI和IJCV的编委会成员，曾是IEEE TMM和IEEE TCSVT编委会成员。因在视觉内容理解和检索领域的杰出贡献，他被遴选为国际电气电子工程师学会和国际模式识别学会会士 (IEEE/IAPR Fellow)、国际计算机协会杰出会员。
本报告将整体介绍百度文心·CV大模型，分享其中的表征预训练算法，包括自监督算法Context Autoencoder、及其基于图文模型引导的推广。最后会介绍预训练算法及CV大模型在百度产品中的应用，包括OCR、工业视觉、度目、自动驾驶数据挖掘等。
百度深圳研发中心自然语言处理部技术总监，国家人工智能专业高级工程师。何径舟毕业于北京大学计算机系，有10年以上人工智能技术研发和管理经验，主要研究领域包括自然语言处理、机器学习、生物计算、智能机器人等，带领团队夺得十余项国际比赛和权威榜单冠军，5 次斩获百度最高奖。何径舟是 200 余项 AI 专利发明人，曾获中国专利优秀奖，受聘中国专利审查技术专家。何径舟也是中国人工智能学会（CAAI）会员，中文信息学会（CIPS）青年工作委员会委员，香港人工智能与机器人学会（HKSAIR）会员，深圳国家高技术产业创新中心专家。
本报告首先介绍跨模态文图生成技术的背景和发展脉络，并带来飞桨文心AI作画大模型ERNIE-ViLG 2.0的技术解读，最后分享AI艺术与创意辅助平台“文心一格”的产品创新。
2008年硕士毕业于北京理工大学电子工程系。2011年开始从事基于CUDA的GPU开发工作，有超过十年的GPU加速相关产品研发经验。熟悉历代GPU体系架构，熟悉NVIDIA深度学习生态工具链。在深度学习和大模型的训练加速和推理优化，以及HPC领域在GPU上的加速应用方面有丰富经验。
当下，大语言模型（LLM）成为行业内外的焦点。但与此同时，大模型高昂的训练和推理部署成本，带来巨大挑战。作为世界领先的加速计算平台公司，NVIDIA在大语言模型的训练优化和推理优化等方面积累了丰富的经验。本演讲围绕大模型发展趋势和NVIDIA 在大模型训练和推理场景中的实践，分享NVIDIA 对大模型（GPT-3）加速优化的方法及效果，希望能为中国大语言模型的研究和应用落地提供强有力的支持。
现任昆仑芯科技互联网行业研发总监，原百度资深架构师。硕士毕业于电子科技大学。拥有十余年互联网产品技术研发与管理经验，在云计算和AI芯片行业都有多年规划研发与落地经验。曾主导研发百度云基础IAAS技术体系，支撑并扩展到上万规模。近几年，整体负责自研AI芯片“昆仑芯1代”和“昆仑芯2代”在国内互联网的最大规模部署，产品研发工作覆盖AIGC、大语言模型以及搜索、推荐、商业等广泛AI技术与应用领域。相关工作拥有多篇技术专利。
大模型对应的模型体积和计算量，给实际产业应用的推理部署带来严峻挑战。昆仑芯基于飞桨框架，针对不同类型的大模型，开展了深度优化，并实现了大规模应用落地。本报告将详细介绍飞桨+昆仑芯对大模型推理的优化加速技术，并分享在百度搜索等大规模业务场景中的应用实践经验。
清华大学博士毕业，博士研究课题为机器视觉技术在工业自动化控制中的应用。现任百度资深研发工程师，研究方向涉及深度学习框架基础架构设计、大规模分布式训练技术、推理部署加速、Kubernetes、AutoML等多个领域。曾作为核心成员设计并开发飞桨静态图和动态图基础架构，目前负责大规模分布式训练加速技术，2022年带领团队使用飞桨框架在国际权威AI基准测试榜单MLPerf Training v2.0和v2.1上获得同等GPU配置下训练性能世界第一的成绩。
针对大模型开发和应用的挑战，飞桨PaddlePaddle从核心框架到开发平台提供了针对大模型训练、压缩和推理部署全流程的支持。本环节将首先概要介绍飞桨框架在大模型分布式训练和压缩推理上的特色技术。之后将以GPT模型为例，现场演示如何使用飞桨框架从单卡模型扩展出数据并行、Group Sharded、张量模型并行、流水线模型并行等不同分布式并行策略，并依托百度智能云上的飞桨开发平台展示大模型训练、压缩、推理全流程操作。
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~
