PaddleLite使用Bitmain：Sophon BM1682/BM1684 预测部署

Paddle Lite已支持在比特大陆的Sophon BM1682/BM1684处理器上进行预测部署. 目前支持子图接入

支持现状

已支持的芯片

  • Sophon BM1682

  • Sophon BM1684

已支持的设备

  • Sophon SC3 加速卡 (BM1682 X86 PCI-E)

  • Sophon SC5 加速卡 (BM1684 X86 PCI-E)

已支持的Paddle模型

已支持（或部分支持）的Paddle算子

  • norm

  • relu

  • leaky_relu

  • sqrt

  • square

  • sigmoid

  • assign_value

  • batch_norm

  • box_coder

  • cast

  • concat

  • conv2d

  • depthwise_conv2d

  • conv2d_transpose

  • depthwise_conv2d_transpose

  • density_prior_box

  • dropout

  • elementwise_add

  • elementwise_mul

  • elementwise_sub

  • elementwise_div

  • fill_constant

  • nearest_interp

  • bilinear_interp

  • matmul

  • mul

  • multiclass_nms

  • multiclass_nms2

  • pool2d

  • max_pool2d_with_index

  • prior_box

  • reduce_sum

  • reduce_mean

  • reduce_max

  • reshape

  • reshape2

  • flatten

  • flatten2

  • scale

  • shape

  • slice

  • softmax

  • split

  • squeeze

  • squeeze2

  • swish

  • transpose

  • yolo_box

参考示例演示

准备设备环境

  • 请确保您的 Sophon 加速卡已经可以在主机中正常工作.您可以对照下面的步骤快速验证, 如有任何问题, 请联系BITMAIN解决.

    • 可以使用BMNNSDK内附带的bm-smi程序进行测试,如果设备已经正常驱动,您应该能看到一个(或多个)PCIE模式的加速设备.

    • 可以使用ls /dev/bm*, 您应该能看到若干个bm前缀的设备.例如/dev/bmdev-ctl /dev/bm-sophon0

  • 简易安装指南(仅供参考,请以BITMAIN的安装指南为准)

    • 可以使用bmnnsdk_root/scripts/目录的install_libs.sh及sudo install_driver_pcie.sh完成安装.

    • 对于部分BM1684设备,为了启用动态编译功能,您可能需要为每个芯片启用icache.在bmnnsdk_root/bin/x86目录下,使用./test_update_fw ./bm168x_bmdnn_en_icache.bin ./bm168x_bmdnn_s_en_icache.bin chip_id来启用icache,chip_id为0,1,2等值,代表不同芯片.

准备本地编译环境

  • 目前仅在 Ubuntu 16.04 环境进行过测试,为了避免环境不一致带来的麻烦,建议使用Docker编译环境,请先根据编译环境准备下载好paddlepaddle/paddle-liteDocker镜像.

  • 在执行docker run启动容器时,请确保宿主机内/dev/bm*设备均被正确映射到容器中.可以参考下面的指令启动容器.

sudo docker run -it \
     --name work_bm \
     -v $HOME:/code \
     --device=/dev/bm1682-dev0:/dev/bm1682-dev0 \
     --device=/dev/bmdev-ctl:/dev/bmdev-ctl \
     --net=host \
     paddlepaddle/paddle-lite:latest /bin/bash

编译Paddle-Lite工程

  1. 下载代码

git clone https://github.com/PaddlePaddle/Paddle-Lite.git

  1. 编译

# 进入代码目录
cd Paddle-Lite

# 运行编译脚本
./lite/tools/build_bm.sh --target_name=BM1682
# 或 ./lite/tools/build_bm.sh --target_name=BM1684

  1. 编译结果说明 编译产物将输出至build.lite.bm/inference_lite_lib目录下,该目录结构为

.
|-- cxx 
|   |-- include #cxx头文件目录
|   `-- lib #cxx库目录
|       `-- third_party #第三方cxx依赖库目录
`-- demo
    `-- cxx # cxx示例程序

运行demo

# 测试demo在build.lite.bm/inference_lite_lib/demo/cxx/目录下
cd build.lite.bm/inference_lite_lib/demo/cxx/

wget http://paddle-inference-dist.bj.bcebos.com/mobilenet_v1.tar.gz

tar -xvf mobilenet_v1.tar.gz

./build.sh

./mobilenet_full_api ./mobilenet_v1 224 224

# 如果运行正常,程序最后会输出Done.