AI领域最负盛名的产业级基准测试榜单MLPerf Training 2.0于6月30日正式发布。本次榜单中,百度飞桨与Graphcore合作,在MLPerf中开启了一种创新的“联合提交”模式。
1
“联合提交”亮相MLPerf
图1:MLPerf Training v2.0, Graphcore与百度提交的BERT模型在Graphcore IPU上的训练性能结果。其中,红色代表Graphcore使用原生框架PopART取得的成绩,蓝色代表Graphcore与百度使用飞桨框架取得的成绩。
2
“联合提交”:
飞桨硬件生态共创计划的新尝试
百度飞桨与Graphcore合作的MLPerf联合提交,是飞桨硬件生态共创计划的一次创新尝试。两个公司采用完全一样的软硬件配置进行成绩提交,这种联合提交方式在MLPerf比赛中首次出现。为此,我们在准备阶段跟组织者MLCommons做了细致的沟通,以确定这一提交方式的可行性。这次合作的成果令人欣慰,不仅双方技术合作的成果通过MLPerf介绍给全球开发者,这种软硬合作提交的模式也在MLPerf媒体沟通会上获得其他厂商代表的称赞。
3
“联合提交”背后的技术合作
针对本次MLPerf联合提交,百度飞桨与Graphcore进行了深度协同优化,主要体现在如下方面:
优化并行度
针对模型切分策略进行优化,从而提高模型并行度,并且通过优化并行读取数据集的策略,将模型在IPU上的吞吐发挥到极致。
提高片上内存使用率
融合collective算子
减少不必要的计算资源占用
硬件优化
4
飞桨与Graphcore的合作历程
飞桨一直积极与硬件厂商合作以优化用户体验与性能。2020年,飞桨携手13家硬件厂商发起“硬件生态圈”,Graphcore即是初始成员之一。2021年,百度飞桨实现了在Graphcore IPU上训练与推理的全面支持,并开源了相关代码。双方团队在IPU-POD16&64上进行数据并行与模型并行,以及在Bert-Base模型上进行精读和吞吐量验证取得了良好的性能效果。Graphcore的Poplar SDK 2.3与百度飞桨框架最新的2.3版本已经完全集成,相关代码已在百度飞桨的GitHub上线供开发者获取。
5
结语
随着人工智能技术在各行业的广泛应用及快速发展,业界已从各自独立的硬件算力驱动和算法创新驱动进入到算法和硬件协同创新阶段。本次MLPerf的联合提交,是百度飞桨与硬件生态共创伙伴Graphcore合作的创新尝试。未来,飞桨将通过硬件生态共创计划,与更多硬件厂商一起,加速人工智能的应用落地,推动AI工业大生产的实现进程。
MLPerf介绍
MLPerf是由AI领域世界知名的学术研究者和产业专家发起的人工智能领域基准测试标杆。MLPerf旨在提供一个公平、实用的基准测试平台,展示业界领先的AI软硬件系统的最佳性能,其测试结果已获得AI领域的普遍认可。世界上几乎所有主流的硬件生产商和软件服务提供商都会参考MLPerf发布的结果构建自己的基准测试系统,以测试其开发的新的AI加速芯片和深度学习框架在MLPerf模型上的性能表现。
更多阅读
6
直播预告
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~