飞桨模型量化¶

NV GPU 上部署量化模型¶

使用 PaddleSlim 静态离线量化方法和量化训练方法产出量化模型后，可以使用 Paddle Inference 在 Nvidia GPU 上部署该量化模型。

Nvidia GPU 上部署常规模型的流程是：准备 TensorRT 环境、配置 Config、创建 Predictor、执行。Nvidia GPU 上部署量化模型和常规模型大体相似，需要改动的是：指定 TensorRT 配置时将 precision_mode 设置为 paddle_infer.PrecisionType.Int8，将 use_calib_mode 设为 False。

config.enable_tensorrt_engine(
  workspace_size=1<<30,
  max_batch_size=1,
  min_subgraph_size=5,
  precision_mode=paddle_infer.PrecisionType.Int8,
  use_static=False,
  use_calib_mode=False)

Paddle Inference 的详细说明，请参考文档。

Nvidia GPU 上部署量化模型的详细说明，请参考文档。

X86 CPU 上部署量化模型¶

使用 PaddleSlim 静态离线量化方法和量化训练方法产出量化模型后，可以使用 Paddle Inference 在 X86 CPU 上部署该量化模型。

X86 CPU 上部署量化模型，首先检查 X86 CPU 支持指令集，然后转换量化模型，最后在 X86 CPU 上执行预测。

Paddle Inference 的详细说明，请参考文档。

X86 CPU 上部署量化模型的详细说明，请参考文档。

1）检查 X86 CPU 支持指令集

大家可以在命令行中输入 lscpu 查看本机支持指令。

在支持 avx512、不支持 avx512_vnni 的 X86 CPU 上（如：SkyLake, Model name：Intel(R) Xeon(R) Gold X1XX），量化模型性能为原始模型性能的 1.5 倍左右。

在支持 avx512 和 avx512_vnni 的 X86 CPU 上（如：Casecade Lake, Model name: Intel(R) Xeon(R) Gold X2XX），量化模型的精度和性能最高，量化模型性能为原始模型性能的 3~3.7 倍。

2）转换量化模型

下载转换脚本到本地.

wget https://github.com/PaddlePaddle/Paddle/blob/develop/python/paddle/fluid/contrib/slim/tests/save_quant_model.py

使用脚本转换量化模型，比如：

python save_quant_model.py \
    --quant_model_path=/PATH/TO/PADDLESLIM/GENERATE/MODEL \
    --int8_model_save_path=/PATH/TO/SAVE/CONVERTED/MODEL

3）执行预测

准备预测库，加载转换后的量化模型，创建 Predictor，进行预测。

注意，在 X86 CPU 预测端部署量化模型，必须开启 MKLDNN，不要开启 IrOptim（模型已经转换好）。

4）数据展示

图像分类 INT8 模型在 Intel(R) Xeon(R) Gold 6271 上精度

图像分类 INT8 模型在 Intel(R) Xeon(R) Gold 6271 单核上性能

Ernie INT8 模型在 Intel(R) Xeon(R) Gold 6271 的精度结果

Ernie INT8 模型在 Intel(R) Xeon(R) Gold 6271 上单样本耗时

ARM CPU 上部署量化模型¶

Paddle Lite 可以在 ARM CPU 上部署 PaddleSlim 动态离线量化方法、静态离线量化方法和量化训练方法产出的量化模型。

Paddle Lite 部署量化模型的方法和常规非量化模型完全相同，主要包括使用 opt 工具进行模型优化、执行预测。

Paddle Lite 的详细说明，请参考文档。

Paddle Lite 部署动态离线量化方法产出的量化模型，请参考文档。

Paddle Lite 部署静态离线量化方法产出的量化模型，请参考文档。

Paddle Lite 部署量化训练方法产出的量化模型，请参考文档。

模型量化前后性能对比