飞桨框架 IPU 版预测示例¶

飞桨框架 IPU 版支持飞桨原生推理库(Paddle Inference)，适用于云端推理。

C++预测示例¶

第一步：源码编译 C++预测库

当前 Paddle IPU 版只支持通过源码编译的方式提供 C++预测库，编译环境准备请参考飞桨框架 IPU 版安装说明。

          # 下载源码
git clone https://github.com/PaddlePaddle/Paddle.git
cd Paddle

# 创建编译目录
mkdir build && cd build

# 执行 CMake，注意这里需打开预测优化选项 ON_INFER
cmake .. -DWITH_IPU=ON -DWITH_PYTHON=ON -DPY_VERSION=3.8 -DWITH_MKL=ON -DON_INFER=ON \
         -DPOPLAR_DIR=/opt/poplar -DPOPART_DIR=/opt/popart -DCMAKE_BUILD_TYPE=Release

# 开始编译
make -j$(nproc)

         

成功编译后，C++预测库将存放于 build/paddle_inference_install_dir 目录下。

第二步：获取预测示例代码并编译运行

          # 获取示例代码
git clone https://github.com/PaddlePaddle/Paddle-Inference-Demo

将获得的 C++预测库拷贝并重命名一份到 Paddle-Inference-Demo/c++/lib/paddle_inference。

          cd Paddle-Inference-Demo/c++/paddle-ipu

# 编译
bash ./compile.sh

# 运行
bash ./run.sh