\u200E
中|EN
v2.12
Paddle Lite - 端侧轻量化推理引擎
面向端侧场景的轻量化推理引擎Paddle Lite，可以实现飞桨模型在x86/ARM平台下多种OS内的高效部署，同时支持在10种以上的GPU/NPU异构后端上进行推理加速和混合调度；通过Paddle Lite，您在不同端侧场景下的模型部署需求都可以被完美支持。
前往Github
前往论坛
Paddle Lite 部署开发流程
准备部署模型
将训练得到的、或是来自飞桨套件和模型库的模型保存为静态部署模型，其他框架模型可通过X2Paddle转入
模型离线优化
通过离线优化工具(OPT)进一步优化模型，检测指定硬件上的支持情况并生成 *.nb 格式的模型文件
部署程序开发
通过 C++/Java/Python API 只需五步即可完成推理过程，您也可以参考丰富的示例程序来开发您的应用
调试与性能优化
开发中遇到的问题可以尝试在FAQ中寻找解答，也可以通过Github和官方论坛寻求帮助；进一步性能优化可参考文档中的优化章节
技术架构
分析阶段
载入并构建计算图
PaddlePaddle模型
Program（block、算子和变量描述）
SSAGraph
计算图分析、优化、融合Pass
SSAGraph
量化/反量化
算子融合
子图划分
访存优化
数据类型转换
Kernel选取
优化后 SSAGraph
执行阶段
后端算子接入
ARM Kernels
x86 Kernels
OpenCL Kernels
CUDA Kernels
FPGA Kernels
XPU sKernels
Subgraph+NNAdapter后端接入
APIs - Runtime - HAL
通过Paddle子图生成NNAdapter model
执行NNAdapter model
NNAdpater APIs
NNAdapter Runtime
昇腾NPU HAL
晶晨NPU HAL
瑞芯微NPU HAL
*OpenVINO HAL
晶晨C308X/A311D (aml ddk)
昇腾310 (CANN)
多种后端硬件（设备及驱动程序）
ARM-CPU （NEON）
GPU(OpenCL/Metal/CUDA/cudnn)
RK1808/1109 1126 (rknpu ddk)
*MLU370 (MagicMind)
*Intel GPU (OpenVINO)
XPU (xdnn)
FPGA
X86-CPU (AVX/SSE/mkl/mkldnn)
Kirin810/990/9000E等 （HiAI DDK）
晶晨C308X/A311D （aml ddk）
昇腾310 (CANN)
* NNAdaptor中部分硬件的HAL层并不能支持该种类硬件芯片下的所有芯片型号，具体支持范围请参考官方文档中的硬件型号列表
* 即将上线对intel-OpenVINO和寒武纪MLU的支持
部署示例
图像分类
图像分类
在Paddle Lite中使用常见的分类模型实现图像类别预测
查看详情
目标检测
目标检测
在Paddle Lite中使用经典目标检测模型
查看详情
人像分割
人像分割
在Paddle Lite中使用人像分割模型在图像中识别像素级任务主体
查看详情
人脸关键点检测
人脸关键点检测
在Paddle Lite中使用人脸关键点模型识别有效人脸并生成关键点信息
查看详情
社区参与
参与Paddle Lite的社区活动，一起贡献力量
GitHub
GitHub
在Github上获取产品动态，反馈问题
Gitee
Gitee
在Gitee上获取产品动态，反馈问题
AI Studio 论坛
AI Studio 论坛
加入论坛和众多Paddle Lite用户共同探讨
合作案例
使用Paddle Lite上线的用户
最新资源
欢迎关注我们的资讯和教程
2021AI快车道端侧部署系列直播课
2021AI快车道端侧部署系列直播课
飞桨携手Arm团队，推进Paddle Lite端侧推理性能提升 | 洞见 AI 硬件
飞桨携手Arm团队，推进Paddle Lite端侧推理性能提升 | 洞见 AI 硬件
详解Paddle Lite底层在backend上的Kernel选择策略
详解Paddle Lite底层在backend上的Kernel选择策略
昇腾310多方案部署，Paddle Lite在Atlas 200 DK部署实战 | 洞见 AI 硬件
昇腾310多方案部署，Paddle Lite在Atlas 200 DK部署实战 | 洞见 AI 硬件