模态是指某件事发生或存在的方式，我们对世界的体验是多模态的，包括我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。基于多模态数据的多模态学习方法利用不同模态的高阶语义表示联合优化目标函数， 进而提高多模态数据的聚类、分类、检索以及生成等任务的性能。随着深度学习的发展，多模态深度学习旨在建立可以完成多模态学习任务的神经网络模型，并取得了优异的性能，备受政府、企业和研究者的关注。
南京理工大学计算机科学与工程学院杨杨教授开发的PaddleMM正是基于飞桨打造的多模态学习工具包，旨在提供模态联合学习和跨模态学习算法模型库，为处理图片文本等多模态数据提供高效的解决方案，助力多模态学习应用落地。该工具包提供多模态融合、跨模态检索、图文生成等多种多模态学习任务算法模型库，并支持用户自定义数据和训练。目前基于工具包算法已有相关落地应用，如球鞋真伪鉴定、图像字幕生成、舆情监控等。
欢迎感兴趣的朋友点击下方链接查看并Star支持：
https://github.com/njustkmg/PaddleMM
本期飞桨开发者说Live，我们邀请到了PaddleMM的作者南京理工大学计算机科学与工程学院杨杨教授及团队成员鲍然，深度剖析多模态学习的研究应用，以及多模态学习工具 PaddleMM的工具包算法介绍、使用说明及模型开发。
欢迎大家准时关注4月13日（本周三）20：30的飞桨开发者说直播。
分享主题
《多模态学习研究解析及工具包PaddleMM介绍与应用》
分享嘉宾
杨杨 | 南京理工大学 教授
鲍然 | 南京理工大学 硕士在读
精彩抢先看
1. 多模态学习研究与应用介绍
2. 多模态工具包PaddleMM介绍及使用说明
3. 基于PaddlePaddle的算法使用案例介绍
分享时间：4月13日20:30-21:30
直播链接：http://live.bilibili.com/21689802
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~
