自动驾驶环境感知

当今时代，通过科技改变生产生活方式的各种先进技术纷纷崛起，交通产业也经历着巨大的变革。国家对于智能交通、交通强国战略的支持使得交通产业更加需要相关技术支撑与赋能。对此，百度Apollo与飞桨强强联合，聚焦人工智能关键技术，深耕核心和底层技术，持续开源。在自动驾驶技术各个方面深耕和发力，以全行业的前行为目标，吸纳各方力量，不断拓宽开源之路。Apollo开放平台与飞桨在全球自动驾驶技术及深度学习开源生态中具有深刻影响力，为自动驾驶及深度学习技术研发与创新提供了肥沃土壤，也为开发者创新和落地提供更广阔的想象空间。

在真实的场景中，环境信息复杂多样、传感器类型五花八门、数据格式繁多等问题对无人驾驶系统的感知能力提出了非常严格的要求。

自动驾驶环境感知能力全景

为了进一步降低开发者开发难度，同时方便开发者根据自己的实际场景对模型进行修改和迭代，此次飞桨携手Apollo开放平台基于大量业务实践经验，针对自动驾驶感知模块提供了一系列能力。其中3D视觉能力是本次发布的重点，飞桨3D视觉开发套件Paddle3D不仅覆盖了单目、点云等多种模态以及检测、分割等多种任务类型，同时支持模型一键预测部署，并与Apollo开放平台实现训练部署无缝衔接，使开发者使用更便捷！

Paddle3D全景图

话不多说，直接上手试试吧！

https://github.com/PaddlePaddle/Paddle3D 

⭐记得Star收藏⭐

防止走失又实时关注更新

作为支撑自动驾驶界感知开发模块中3D视觉能力的重要组件，Paddle3D拥有以下五大特性：

丰富的模型库

聚合主流3D感知算法及精度调优策略，覆盖单目、点云等多种模态及检测、分割等多种任务类型；

灵活的框架设计

针对各类3D数据格式，灵活构建 数据处理、骨干网络 等核心模块，支持基于 PaddleDetection/PaddleSeg 灵活扩展2D视觉感知能力，并提供 API与脚本 两种训练评估方式，满足开发者灵活定制的差异化需求；

端到端全流程

支持KITTI、nuScenes等主流3D数据集，提供从数据处理、模型搭建、训练调优到部署落地的全流程能力；

产业级部署方案

极致优化模型性能，适配多种自动驾驶主流芯片。支持计算图优化、TensorRT/OpenVINO等加速库，并提供了开箱即用的部署教程，5分钟即可完成模型部署；

无缝衔接Apollo

无缝对接Apollo自动驾驶平台，支持 真机与仿真平台 实验效果 快速验证 、 多模态 模型高性能融合，实现自动驾驶 全栈式技术方案的高效搭建 。

特性一 丰富的模型库

Paddle3D精选业界主流前沿3D感知算法，支持单目、点云等不同模态以及检测、分割等多种任务类型。

在业务实践中实现精度和速度的全面优化，提供了同一模型在各类数据集上进行优化的不同配置，并提供预训练模型，充分满足不同应用场景下的用户需求，更好地实现精度和速度的平衡。

Paddle3D模型库

特性二 灵活的框架设计

Paddle3D提供了API调用和配置化驱动两种使用方式，无论是直接预测还是二次开发，数行代码即可完成开发，可谓是将开发易用性做到了极致。

对于不熟悉相关领域的开发者来说，无需手动构建代码，基于配置化文件与脚本，即可实现 一键训练/一键评估 等功能，实现真正意义上的零门槛使用。

一键训练/评估示例

对于期望对模型进行二次开发或者有系统集成需求的用户来说，可以直接使用API接口进行集成。Paddle3D将模型组网、数据增强、训练流水线、数据集、任务调度等相关功能都进行了抽象封装，支持用户快速便捷地进行二次开发或者集成到其他任务中。

此外，Paddle3D对模型组件、数据增强策略、损失函数等进行了模块化的设计，同时支持无缝衔接飞桨语义分割开发套件PaddleSeg和飞桨目标检测开发套件PaddleDetection等套件，快速复用其组件。开发者可以基于实际应用场景出发，扩展组装多样化的训练配置，从而满足不同应用场景对性能和精度的要求。

以CaDDN模型为例子，我们通过使用PaddleSeg复现的OCRNet模型作为分割backbone，在不增加推理速度的情况下，将模型的推理精度从7.211% mAP提升到了 7.861%。

特性三 端到端全流程

Paddle3D涵盖了从数据处理、模型搭建、训练评估到预测部署的全流程应用能力，为用户提供一站式的体验，持续降低3D感知技术的落地门槛。

Paddle3D在打通流程的基础上，还基于业务实践进行了许多功能拓展。以数据处理环节为例子，神经网络成功的关键因素之一是具备大量的数据，而自动驾驶下点云数据的获取与标注的成本极高，在常规的旋转、缩放等数据增强策略外，Paddle3D还支持基于开源数据集制作离线的真值数据库，训练时可以将真值数据库中的多类别样本拓展到真实点云数据中，有效提升训练效果。

Paddle3D全流程示例

特性四 产业级部署方案

基于飞桨原生推理库Paddle Inference，Paddle3D支持多种主流推理芯片的部署，借助于TensorRT和OpenVINO等加速库，提供了产业级的高性能推理能力。

考虑到自动驾驶场景下显卡算力存在局限性的问题，Paddle3D还进一步对模型的性能进行了极致的优化，将常见的点云体素化、3D NMS等操作实现了并行加速。以CenterPoint模型为例，通过持续优化，模型的预测速度实现了200%的加速效果。

此外Paddle3D对每个模型都提供开箱即用的部署教程，详细描述了从环境准备、代码编译到执行等各个环节，开发者在5分钟之内即可上手完成模型部署。

Paddle3D完善的文档教程

特性五 无缝衔接Apollo

Apollo开放平台作为世界上开源影响力最大的自动驾驶平台之一，其背景和实力在自动驾驶开源领域影响甚广。Apollo领衔十项全国之最，无论是中国最大的自动驾驶测试车队、累计测试历程还是自动驾驶专利数等等，都在领跑中国速度。通过开源，Apollo构建出全球最活跃的自动驾驶生态，拥有8万多名开发者，开源代码70多万行，相关合作伙伴210多家。完成了5年12个版本的迭代，不断拓宽适用场景。

Apollo感知数据流

此次百度Apollo与飞桨的合作更是基于广泛的感知模型，从而更好的赋能开发者。不仅在感知模型层面进行全面打通，引入了飞桨原生推理库Paddle Inference，支持Nvidia系列显卡等多重硬件，借助于TensorRT和OpenVINO加速库，使开发者可以获得产业级的高性能推理能力。而且引入了更多的感知模型，支持单目、点云等不同模态以及检测、分割等不同任务类型，开发者可以根据需求选择模型类型并在Apollo开放平台内集成，获得更高效更便捷的开发体验。

基于Paddle3D的Apollo感知开发流程

为了减少用户将模型落地应用的成本，Paddle3D携手 Apollo开放平台感知技术 团队，打通了感知模型落地的 “最后一公里”。开发者可以通过Paddle3D对现有的感知模型进行快速迭代，当模型训练完成后，只需 两步 即可实现 新Paddle3D模型在Apollo内的集成 ，以验证优化后的模型在整体pipeline中的提升效果： 

• 根据模型类型，按照文档添加一个新Detector 

• 利用现成API接口进行数据的前处理和后处理

目前Apollo开放平台也将Paddle3D中的优质模型内置到了框架中。在Paddle3D高性能模型的加持下，Apollo感知模型的丰富度与性能都实现了巨大的提升。基于Paddle3D模型库，Apollo开放平台新增了相机检测与点云检测模型。其中由Paddle3D提供的CenterPoint模型的参数量只有PointPillars模型的三分之一，CADDN模型的推理精度相较于SMOKE提升了100%。

Paddle3D作为Apollo开放平台与飞桨专为自动驾驶感知模块打造的3D视觉开发工具，全面考虑了各类输入模态（单目、点云）与多样任务类型（检测、分割），同时最大化压缩开发成本，提供自动驾驶感知模块最佳的一站式开发体验！

此次合作，Apollo与飞桨开放平台全面打通，实现模型训练、模型性能验证、模型部署的全流程方案，更加速了深度学习在自动驾驶领域的应用落地，促进前沿技术和产业实践落地的良性循环，构建开源社区+自动驾驶平台的合作新模式，为未来创造更多可能。

自动驾驶产业实践直播课

光看文档还不过瘾？为了让开发者们更深入的了解Apollo平台及Paddle3D套件的使用，Apollo团队与飞桨团队精心准备了两日直播课程！

8月23日、25日晚上7点-8点 ， Apollo团队 与 飞桨团队 资深研发高工将从 自动驾驶技术综述 与 感知能力介绍 ，到 3D视觉在自动驾驶技术中的应用与实战 ，针对无人驾驶领域的难点痛点进行手把手拆解，更甚的是，直播现场为大家答疑解惑，还在等什么！抓紧扫码上车吧！

扫码海报二维码，报名直播课 

即可加入技术交流群

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~