Paddle Lite 介绍¶
Paddle Lite 是一组工具,可帮助开发者在移动设备、嵌入式设备和 loT 设备上运行模型,以便实现设备端机器学习。
主要特性¶
开发工作流程¶
以下介绍了该工作流程的每一个步骤,并提供了进一步说明的链接:
1. 创建 Paddle Lite 模型¶
您可以通过以下方式生成 Paddle Lite 模型:
将 Paddle 模型转换为 Paddle Lite 模型:使用 Paddle Lite opt 工具 将 Paddle 模型转换为 Paddle Lite 模型。在转换过程中,您可以应用量化等优化措施,以缩减模型大小和缩短延时,并最大限度降低或完全避免准确率损失。
2. 运行推断¶
推断是指在设备上执行 Paddle Lite 模型,以便根据输入数据进行预测的过程。您可以通过以下方式运行推断:
使用 Paddle Lite API,在多个平台和语言中均受支持(如 Java、C++、Python)
配置参数(
MobileConfig
),设置模型来源等创建推理器(Predictor),调用
CreatePaddlePredictor
接口即可创建设置模型输入,通过
predictor->GetInput(i)
获取输入变量,并为其指定大小和数值执行预测,只需要调用
predictor->Run()
获得输出,使用
predictor->GetOutput(i)
获取输出变量,并通过data<T>
取得输出值
在有 GPU 的设备上,您可以使用 OpenCL 加速来提升性能。
开始使用¶
根据目标设备,您可以参阅以下指南: