PaddleLite使用X86预测部署

一、Docker或者Linux/Mac环境

Paddle-Lite 支持在Docker或Linux环境编译x86预测库。环境搭建参考编译环境准备

编译

1、 下载代码

# 下载Paddle-Lite源码
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
# 切换到release分支
git checkout release/v2.6.0

2、 源码编译

cd Paddle-Lite
# 请在Paddle-Lite当前目录下执行脚本
./lite/tools/build.sh --build_python=ON x86

# 其他可选择编译选项
--with_log=ON/OFF # 编译支持LOG信息输出的预测库,默认值 ON
--build_python=ON/OFF # 编译支持Python API的预测库,默认值 OFF
--with_extra=ON/OFF # 编译支持全量算子的预测库,当Python打开时默认打开,否则为 OFF
--with_static_mkl=ON/OFF # 编译静态链接的MKL库,否则为动态链接,默认值为 OFF
--build_opencl=ON/OFF # 编译支持OpenCL的预测库,默认值为 OFF,如`./lite/tools/build.sh --build_opencl=ON x86`
--with_avx=ON/OFF # 使用AVX/SSE指令对X86 Kernel进行加速,默认值为 ON
--with_profile=ON/OFF # 编译支持逐层耗时分析的预测库,默认值 OFF
--with_precision_profile=ON/OFF # 编译支持逐层精度分析的预测库,默认值 OFF

注:若在Linux OS上使用Intel OpenCL Runtime,需要先下载并安装对应驱动到默认路径

编译结果说明

x86编译结果位于 build.lite.x86/inference_lite_lib

build.lite.x86/inference_lite_lib/
├── bin
│   └── test_model_bin                                可执行工具文件
├── cxx                                               C++ 预测库和头文件
│   ├── include                                       C++ 头文件
│   │   ├── paddle_api.h
│   │   └── ...
│   └── lib                                           C++ 预测库
│       ├── libpaddle_api_full_bundled.a              C++ full_api 静态库
│       ├── libpaddle_api_light_bundled.a             C++ light_api 静态库
│       ├── libpaddle_full_api_shared.so              C++ full_api 动态库
│       └── libpaddle_light_api_shared.so             C++ light_api 动态库
├── demo
│   ├── cxx
│   │    ├── mobilenetv1_full                          使用full_api 执行预测的C++ demo
│   │    └── mobilenetv1_light                         使用light_api 执行预测的C++ demo
│   └── python
│       ├── mobilenetv1_full_api.py                    使用full_api 执行预测的Python demo
│       └── mobilenetv1_light_api.py                   使用light_api 执行预测的Python demo
├── python                                             Python 预测库和whl包
│   ├── install
│   │   ├── dist
│   │   │   └── paddlelite-*.whl
│   └── lib                                            Python whl包依赖的库文件
│       └── lite.so
└── third_party
    └── mklml                                          依赖的第三方加速库Intel(R) MKL
        └── lib
            ├── libiomp5.so
            ├── libmklml_gnu.so
            └── libmklml_intel.so

x86预测API使用示例

1、mobilenetv1_full目录结构

mobilenetv1_full/
|-- CMakeLists.txt
|-- build.sh
|-- build.bat
-- mobilenet_full_api.cc

本demo使用cmake构建CMakeLists.txt为cmake脚本,mobilenet_full_api.cc是x86示例的源代码、build.sh为编译的脚本。

2、demo使用方法

# 1、编译
cd mobilenetv1_full
sh build.sh

编译结果为当前目录下的 mobilenet_full_api

# 2、执行预测
./mobilenet_full_api ./mobilenet_v1

下载并解压模型mobilenet_v1到当前目录,执行以上命令进行预测。

# 3、执行demo后输出结果如下,全一输入下mobilenet_v1的预测结果
Output shape 1000
Output[0]: 0.000191312
Output[100]: 0.000159713
Output[200]: 0.000264313
Output[300]: 0.000210793
Output[400]: 0.00103236
Output[500]: 0.000110071
Output[600]: 0.00482924
Output[700]: 0.00184533
Output[800]: 0.000202116
Output[900]: 0.000585591

3、示例源码mobilenet_full_api.cc

#include <iostream>
#include <vector>
#include "paddle_api.h"


using namespace paddle::lite_api;  // NOLINT

int64_t ShapeProduction(const shape_t& shape) {
  int64_t res = 1;
  for (auto i : shape) res *= i;
  return res;
}

void RunModel(std::string model_dir) {
   // 1. Create CxxConfig
   CxxConfig config;
   config.set_model_dir(model_dir);
   config.set_valid_places({
     Place{TARGET(kX86), PRECISION(kFloat)},
     Place{TARGET(kHost), PRECISION(kFloat)}
   });
  // 2. Create PaddlePredictor by CxxConfig
  std::shared_ptr<PaddlePredictor> predictor =
      CreatePaddlePredictor<CxxConfig>(config);

  // 3. Prepare input data
  std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
  input_tensor->Resize({1, 3, 224, 224});
  auto* data = input_tensor->mutable_data<float>();
  for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
    data[i] = 1;
  }

  // 4. Run predictor
  predictor->Run();

  // 5. Get output
  std::unique_ptr<const Tensor> output_tensor(
      std::move(predictor->GetOutput(0)));
  std::cout << "Output shape " << output_tensor->shape()[1] << std::endl;
  for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
    std::cout << "Output[" << i << "]: " << output_tensor->data<float>()[i]
              << std::endl;
  }
}

int main(int argc, char** argv) {
  if (argc < 2) {
    std::cerr << "[ERROR] usage: ./" << argv[0] << " naive_buffer_model_dir\n";
    exit(1);
  }
  std::string model_dir = argv[1];
  RunModel(model_dir);
  return 0;
}

二、Windows环境

环境准备

编译环境需求

  • Windows 10 专业版

    • 目前Windows暂不支持GPU编译

  • Python 版本 2.7/3.5.1+ (64 bit)

  • pip 或 pip3 版本 9.0.1+ (64 bit)

  • Visual Studio 2015 Update3

安装步骤

  1. cmake 需要3.15版本, 可在官网下载,并添加到环境变量中。

  2. python 需要2.7 及以上版本, 可在官网下载

  3. git可以在官网下载,并添加到环境变量中

编译

1、 下载代码

git clone https://github.com/PaddlePaddle/Paddle-Lite.git
# 切换到release分支
git checkout release/v2.7

2、 源码编译(需要按照提示输入对应的参数)

cd Paddle-Lite
lite\tools\build_windows.bat with_extra with_profile

# 注意默认编译Windows X64平台,如果需要编译X86平台,需要加入build_x86选项
lite\tools\build_windows.bat build_x86

# 如果需要根据模型裁剪预测库,则需要在with_strip之后输入opt model dir的路径
lite\tools\build_windows.bat with_strip D:\Paddle-Lite\opt_model_dir

编译脚本build_windows.bat,追加参数说明:

参数 介绍
without_log 可选,是否编译带日志的预测库(默认为ON,即日志打开) ONOFF
without_python 可选,是否编译python预测库(默认为ON,即编译Python) ONOFF
with_extra 可选,是否编译全量预测库(当Python打开时默认打开,否则为OFF),详情可参考预测库说明 ONOFF
with_profile 可选,是否支持逐层耗时分析(默认为OFF) ONOFF
with_precision_profile 可选,是否支持逐层精度分析(默认为OFF) ONOFF
with_strip 可选,是否根据模型裁剪预测库(默认为OFF),详情可参考裁剪预测库 ONOFF
build_x86 可选,是否编译X86平台预测库(默认为OFF,即编译X64平台) ONOFF
with_static_mkl 可选,是否静态链接Intel(R) MKL加速库(默认为OFF,即动态链接) ONOFF
with_dynamic_crt 可选,是否动态链接MSVC Rumtime即MD_DynamicRelease(默认为OFF,即静态链接) ONOFF
with_opencl 可选,是否开启OpenCL(默认为OFF,即编译的预测库仅在CPU上运行,当设为ON时,编译出的预测库支持在GPU上运行) ONOFF
without_avx 可选,使用AVX/SSE指令对X86 Kernel进行加速(默认为ON) ONOFF

编译结果说明

x86编译结果位于 build.lite.x86/inference_lite_lib

具体内容说明:

1、 cxx文件夹:包含c++的库文件与相应的头文件

  • include : 头文件

  • lib : 库文件

    • 静态库文件:

      • libpaddle_api_full_bundled.lib :full_api 静态库

      • libpaddle_api_light_bundled.lib :light_api 静态库

2、 third_party 文件夹:依赖的第三方预测库mklml

  • mklml : Paddle-Lite预测库依赖的mklml数学库

3、 demo/cxx文件夹:x86预测库的C++ 示例demo

  • mobilenetv1_full :使用full_api 执行mobilenet_v1预测的C++ demo

  • mobilenetv1_light :使用light_api 执行mobilenet_v1预测的C++ demo

4、 demo/python: x86预测库的Python示例demo

  • mobilenetv1_full_api.py:使用full_api 执行mobilenet_v1预测的Python demo

  • mobilenetv1_light_api.py:使用full_api 执行mobilenet_v1预测的Python demo

5、 python文件夹:包含python的库文件和对应的.whl包

  • install文件夹:编译成功的.whl包位于install/dist/*.whl

  • lib文件夹:.whl包依赖的库文件

x86预测API使用示例

1、mobilenetv1_full目录结构

mobilenetv1_full/
|-- CMakeLists.txt
|-- build.sh
|-- build.bat
`-- mobilenet_full_api.cc

本demo使用cmake构建CMakeLists.txt为cmake脚本,mobilenet_full_api.cc是x86示例的源代码、build.sh为Linux x86编译的脚本,build.bat为windows x86编译脚本。

2、demo使用方法

# 1、编译
cd mobilenetv1_full
build.bat
cd build

编译结果为当前目录下的 Release\mobilenet_full_api.exe

注意:当前示例为预测库在默认编译选项下编译,即基于 “X64平台” 和 “静态MSVC Rumtime”。如果预测库是基于 “X86平台” 或者 “动态MSVC Rumtime” 编译,请参照build_windows.batPaddle-Lite\CMakeList.txt,相应修改 build.batCMakeList.txt 中的相关配置使其预测库保持一致。

# 2、执行预测
Release\mobilenet_full_api.exe mobilenet_v1

下载并解压模型 mobilenet_v1 到当前build目录,执行以上命令进行预测。