X86 部署示例¶
一、Docker 或者 Linux/Mac 环境¶
Paddle Lite 支持在 Docker 或 Linux 环境编译 X86 预测库。环境搭建参考编译环境准备。
编译¶
1、 下载代码
# 下载 Paddle Lite 源码
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
# 切换到 release 分支
git checkout <release-version-tag>
2、 源码编译
cd Paddle-Lite
# 请在 Paddle-Lite 当前目录下执行脚本
./lite/tools/build_linux.sh --arch=x86 --with_python=ON
# 其他可选择编译选项
--with_log=ON/OFF # 编译支持 LOG 信息输出的预测库，默认值 ON
--with_python=ON/OFF # 编译支持 Python API 的预测库，默认值 OFF
--with_extra=ON/OFF # 编译支持全量算子的预测库，当 Python 打开时默认打开，否则为 OFF
--with_static_mkl=ON/OFF # 编译静态链接的 MKL 库，否则为动态链接，默认值为 OFF
--with_opencl=ON/OFF # 编译支持 OpenCL 的预测库，默认值为 OFF
--with_avx=ON/OFF # 使用 AVX/SSE 指令对 X86 Kernel 进行加速，默认值为 ON
--with_profile=ON/OFF # 编译支持逐层耗时分析的预测库，默认值 OFF
--with_precision_profile=ON/OFF # 编译支持逐层精度分析的预测库，默认值 OFF
注：若在 Linux OS 上使用 Intel OpenCL Runtime，需要先下载并安装对应驱动到默认路径。
编译结果说明¶
X86 编译结果位于 build.lite.x86/inference_lite_lib
build.lite.linux.x86.gcc/inference_lite_lib/
├── bin
│ └── test_model_bin 可执行工具文件
├── cxx C++ 预测库和头文件
│ ├── include C++ 头文件
│ │ ├── paddle_api.h
│ │ └── ...
│ └── lib C++ 预测库
│ ├── libpaddle_api_full_bundled.a C++ full_api 静态库
│ ├── libpaddle_api_light_bundled.a C++ light_api 静态库
│ ├── libpaddle_full_api_shared.so C++ full_api 动态库
│ └── libpaddle_light_api_shared.so C++ light_api 动态库
├── demo
│ ├── cxx
│ │ ├── mobilenetv1_full 使用 full_api 执行预测的 C++ demo
│ │ └── mobilenetv1_light 使用 light_api 执行预测的 C++ demo
│ └── python
│ ├── mobilenetv1_full_api.py 使用 full_api 执行预测的 Python demo
│ └── mobilenetv1_light_api.py 使用 light_api 执行预测的 Python demo
├── python Python 预测库和 whl 包
│ ├── install
│ │ ├── dist
│ │ │ └── paddlelite-*.whl
│ └── lib Python whl 包依赖的库文件
│ └── lite.so
└── third_party
└── mklml 依赖的第三方加速库 Intel(R) MKL
└── lib
├── libiomp5.so
├── libmklml_gnu.so
└── libmklml_intel.so
X86 预测 API 使用示例¶
1、mobilenetv1_full 目录结构
mobilenetv1_full/
|-- CMakeLists.txt
|-- build.sh
|-- build.bat
-- mobilenet_full_api.cc
本 demo 使用 cmake 构建 CMakeLists.txt为 cmake 脚本，mobilenet_full_api.cc 是 X86 示例的源代码、build.sh 为编译的脚本。
2、demo 使用方法
# 1、编译
cd mobilenetv1_full
sh build.sh
编译结果为当前目录下的 mobilenet_full_api
# 2、执行预测
./mobilenet_full_api ./mobilenet_v1
下载并解压模型 mobilenet_v1 到当前目录，执行以上命令进行预测。
# 3、执行 demo 后输出结果如下，全一输入下 mobilenet_v1 的预测结果
Output shape 1000
Output[0]: 0.000191312
Output[100]: 0.000159713
Output[200]: 0.000264313
Output[300]: 0.000210793
Output[400]: 0.00103236
Output[500]: 0.000110071
Output[600]: 0.00482924
Output[700]: 0.00184533
Output[800]: 0.000202116
Output[900]: 0.000585591
3、示例源码 mobilenet_full_api.cc
#include <iostream>
#include <vector>
#include "paddle_api.h"
using namespace paddle::lite_api; // NOLINT
int64_t ShapeProduction(const shape_t& shape) {
int64_t res = 1;
for (auto i : shape) res *= i;
return res;
}
void RunModel(std::string model_dir) {
// 1. Create CxxConfig
CxxConfig config;
config.set_model_dir(model_dir);
config.set_valid_places({
Place{TARGET(kX86), PRECISION(kFloat)},
Place{TARGET(kHost), PRECISION(kFloat)}
});
// 2. Create PaddlePredictor by CxxConfig
std::shared_ptr<PaddlePredictor> predictor =
CreatePaddlePredictor<CxxConfig>(config);
// 3. Prepare input data
std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
input_tensor->Resize({1, 3, 224, 224});
auto* data = input_tensor->mutable_data<float>();
for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
data[i] = 1;
}
// 4. Run predictor
predictor->Run();
// 5. Get output
std::unique_ptr<const Tensor> output_tensor(
std::move(predictor->GetOutput(0)));
std::cout << "Output shape " << output_tensor->shape()[1] << std::endl;
for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
std::cout << "Output[" << i << "]: " << output_tensor->data<float>()[i]
<< std::endl;
}
}
int main(int argc, char** argv) {
if (argc < 2) {
std::cerr << "[ERROR] usage: ./" << argv[0] << " naive_buffer_model_dir\n";
exit(1);
}
std::string model_dir = argv[1];
RunModel(model_dir);
return 0;
}
二、Windows 环境¶
预测库编译¶
Windows 预测库编译参见源码编译( Windows )。
X86 预测 API 使用示例¶
1、mobilenetv1_full 目录结构
mobilenetv1_full/
|-- CMakeLists.txt
|-- build.sh
|-- build.bat
`-- mobilenet_full_api.cc
本 demo 使用 cmake 构建 CMakeLists.txt 为 cmake 脚本，mobilenet_full_api.cc 是 X86 示例的源代码、build.sh 为 Linux X86 编译的脚本，build.bat 为 windows X86 编译脚本。
2、demo 使用方法
# 1、编译
cd mobilenetv1_full
build.bat
cd build
编译结果为当前目录下的 Release\mobilenet_full_api.exe
注意：当前示例为预测库在默认编译选项下编译，即基于 “X64 平台” 和 “静态M SVC Rumtime”。如果预测库是基于 “X86 平台” 或者 “动态 MSVC Rumtime” 编译，请参照
build_windows.bat和Paddle-Lite\CMakeList.txt，相应修改build.bat和CMakeList.txt中的相关配置使其预测库保持一致。
# 2、执行预测
Release\mobilenet_full_api.exe mobilenet_v1
下载并解压模型 mobilenet_v1 到当前 build 目录，执行以上命令进行预测。