本系列根据WAVE SUMMIT+2022深度学习开发者峰会「开源开放 生态共建」论坛嘉宾分享整理。本文整理自「开源开放 生态共建」百度研究院的资深研究员卢飞翔的主题演讲——PaddleSports:“AI+体育”端到端开发套件及落地实践。
百度3D+AI智慧体育团队针对数据、算法、产品三方面开展工作,基于飞桨框架,面向体育场景打造端到端开发套件PaddleSports,实现AI技术与体育行业的深度融合。
百度智慧体育的发展背景及概览
在新发展阶段,AI技术正驱动着体育实体经济高质量发展。通过以AI技术为箭,自主创新为弦,体育行业为靶,最终实现竞技体育实力提升,全民健身有效落实,体育制造业转型升级,体育服务业提质增效。
如下图所示,百度3D+AI智慧体育团队主要从事以下三个方面的工作。
PaddleSports相关简介
如下图所示,PaddleSports是飞桨面向体育场景的端到端开发套件,实现AI技术与体育行业的深度融合,打造“AI+Sports”的标杆案例集。
首先,PaddleSports提供了标注、分割、追踪等功能,实现对海量视频数据的快速处理与高质量标注,再通过飞桨产业级模型库中的模型对标注好的数据进行训练,最后将训练后的结果应用在多场景中,比如足球、乒乓球、花样滑冰等。
PaddleSports采用5W1H产品架构,即从When(时间)、Where(空间)、Who(人物)、What(内容)、Why(探索)、How(执行)六个维度对体育场景所需要的AI技术进行梳理。基于此,PaddleSports能够进行算法模型的整理与开发。同时,能够给客户提供具体软件工具,比如视频拆条、3D姿态等,然后在多场景中进行应用,比如足球、篮球、排球等。
PaddleSports架构设计分为开源工具和产品与解决方案两部分。
PaddleSports主要应用
应用1:科学训练,助力跳水梦之队勇夺金牌
百度为中国跳水队打造了一套“3D+AI”跳水训练系统,具有看得清、看得准、看得全、看得懂四大核心亮点。目前,PaddleSports已累计采集分析了9万多条训练视频,队伍日均使用180多分钟,队伍反馈训练效率提升显著。
应用2:助力央视总台北京冬奥会、卡塔尔世界杯节目制作
在冬奥会期间,百度助力央视总台《奥秘无穷》和《荣誉殿堂》两档节目,通过3D+AI技术,对当天或者前一天的比赛进行复盘与技术分析。
下面展示了在自由式滑雪大跳台项目中的同场竞技技术,通过3D还原与虚拟叠加,把单人比赛变成多人同场竞技,冠亚军对比一目了然。
下面展示的是时空定格技术,将奥运冠军的连续动作定格到3D空间,实现360度观看。
下面展示的是结合XR的应用技术,克服了场地、空间、视角的限制,有效增强节目的丰富度。
在卡塔尔世界杯期间,百度助力央视总台《足球盛宴》节目,主要提供3D虚拟还原、量化分析和数字化图片,主要呈现高度、速度、角度等指标,带给观众全新的观赛视角,更好地欣赏比赛的精彩瞬间。
应用3:体育直播,普惠大众比赛的赛事传播诉求
在体育直播领域,百度开发了普惠大众比赛的赛事转播方案。相比于普通转播方案,比如转播车,成本可降低10倍以上,效率可提升200%。同时采用AI无人值守方式提供7×24小时无人直播。
面向长尾赛事(青少年、大众赛事)市场,构建AI摄像机和云导播台智能赛事转播方案,自动进行画面的推、拉、摇、移,实现人球跟踪直播效果。这种直播方案的特色,是无需专业导播和昂贵的转播车,即可让大众体育赛事能够以微小成本,以无人值守的形式,开启一场专业级赛事转播。
AI助力体育,创新价值创造闭环范式
目前,“AI+体育”得益于PaddleSports AI技术工具集和百度智能云体育产业生态圈,通过在科学训练、赛事传播、技术分析、互动体验等方面的相关技术以及产品,进一步推动竞技体育发展,提高健康水平,发展体育经济,发扬体育文化。
最后,百度非常感谢PaddleSports的合作者以及客户,通过开源共享AI技术,用中国技术助力中国体育事业,助力体育强国、健康中国的伟大目标。