模型优化工具 opt

Paddle-Lite 提供了多种策略来自动优化原始的训练模型,其中包括量化、子图融合、混合调度、Kernel优选等等方法。为了使优化过程更加方便易用,我们提供了opt 工具来自动完成优化步骤,输出一个轻量的、最优的可执行模型。

具体使用方法介绍如下:

注意v2.2.0 之前的模型转化工具名称为model_optimize_tool,从 v2.3 开始模型转化工具名称修改为 opt,从v2.6.0开始支持python调用opt转化模型(Windows/Ubuntu/Mac)

准备opt

当前获得opt工具的方法有三种:

  • 方法一: 安装opt的python版本

安装paddlelite python库,安装成功后调用opt转化模型(支持windows\Mac\Ubuntu

pip install paddlelite
  • 方法二: 下载opt可执行文件 从release界面,选择当前预测库对应版本的opt转化工具

本文提供release/v2.6.1release/v2.2.0版本的优化工具下载

版本 Linux MacOS
release/v2.6.1 opt opt_mac
release/v2.2.0 model_optimize_tool model_optimize_tool_mac
  • 方法三: 源码编译opt 源码编译 opt 可执行文件

cd Paddle-Lite && ./lite/tools/build.sh build_optimize_tool

编译结果位于build.opt/lite/api/下的可执行文件opt

使用opt

当前使用opt工具转化模型的方法有以下三种:

可以通过以下命令安装paddlelite的python库(支持windows/Mac/Ubuntu):

pip install paddlelite

合并x2paddle和opt的一键脚本

背景:如果想用Paddle-Lite运行第三方来源(tensorflow、caffe、onnx)模型,一般需要经过两次转化。即使用x2paddle工具将第三方模型转化为PaddlePaddle格式,再使用opt将PaddlePaddle模型转化为Padde-Lite可支持格式。 为了简化这一过程,我们提供了:

合并x2paddle和opt的一键脚本