2.2.1 下载数据集¶

本案例默认以 ImageNet1k 数据进行自动压缩实验，如数据集为非 ImageNet1k 格式数据， 请参考PaddleClas 数据准备文档。将下载好的数据集放在当前目录下./ILSVRC2012。

# 下载 ImageNet 小型数据集
wget https://sys-p0.bj.bcebos.com/slim_ci/ILSVRC2012_data_demo.tar.gz
tar -xf ILSVRC2012_data_demo.tar.gz

2.2.2 准备预测模型¶

预测模型的格式为：model.pdmodel 和 model.pdiparams两个，带pdmodel的是模型文件，带pdiparams后缀的是权重文件。

可在PaddleClas 预训练模型库中直接获取 Inference 模型，具体可参考下方获取 MobileNetV1 模型。也可根据PaddleClas 文档导出 Inference 模型。

**提示：**其他像__model__和__params__分别对应model.pdmodel 和 model.pdiparams文件。

# 下载 MobileNet 预测模型
wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/MobileNetV1_infer.tar
tar -xf MobileNetV1_infer.tar

2.2.3 导入依赖包及数据处理¶

以下代码首先定义了读取数据的 DataLoader。

DataLoader 传入的数据集是待压缩模型所用的数据集，DataLoader 继承自paddle.io.DataLoader。可以直接使用模型套件中的 DataLoader，或者根据paddle.io.DataLoader自定义所需要的 DataLoader。

# 导入依赖包
import paddle
from PIL import Image
from paddle.vision.datasets import DatasetFolder
from paddle.vision.transforms import transforms
from paddleslim.auto_compression import AutoCompression
paddle.enable_static()
# 定义 DataSet
class ImageNetDataset(DatasetFolder):
    def __init__(self, path, image_size=224):
        super().__init__(path)
        normalize = transforms.Normalize(
            mean=[123.675, 116.28, 103.53], std=[58.395, 57.120, 57.375])
        self.transform = transforms.Compose([
            transforms.Resize(256),
            transforms.CenterCrop(image_size), transforms.Transpose(),
            normalize
        ])

    def __getitem__(self, idx):
        img_path, _ = self.samples[idx]
        return self.transform(Image.open(img_path).convert('RGB'))

    def __len__(self):
        return len(self.samples)

# 定义 DataLoader
train_dataset = ImageNetDataset("./ILSVRC2012_data_demo/ILSVRC2012/train/")
image = paddle.static.data(
    name='inputs', shape=[None] + [3, 224, 224], dtype='float32')
train_loader = paddle.io.DataLoader(train_dataset, feed_list=[image], batch_size=32, return_list=False)

2.2.4 自动压缩并产出模型¶

调用自动化压缩接口AutoCompression 对模型进行量化训练和蒸馏，配置完成后便可开始自动压缩。

# 开始自动压缩
ac = AutoCompression(
    model_dir="./MobileNetV1_infer",
    model_filename="inference.pdmodel",
    params_filename="inference.pdiparams",
    save_dir="MobileNetV1_quant",
    config={'Quantization': {}, "HyperParameterOptimization": {'ptq_algo': ['avg'], 'max_quant_count': 3}},
    train_dataloader=train_loader,
    eval_dataloader=train_loader)
ac.compress()

AutoCompression 接口参数说明：

• model_dir：需要压缩的推理模型所在的目录。

• model_filename：需要压缩的推理模型文件名称。

• params_filename：需要压缩的推理模型参数文件名称。

• save_dir：压缩后模型的所保存的目录。

• config：自动压缩训练配置。可定义量化、蒸馏、剪枝等压缩算法并合并执行。压缩策略有：量化+蒸馏，剪枝+蒸馏等。本示例选择的配置为离线量化超参搜索。详细解释请点击ACT 参数设置获取。

• train_dataloader/eval_dataloader：训练数据迭代器。

• eval_dataloader：如果传入测试数据迭代器，则会计算压缩前后模型输出特征的相似性。目前仅离线量化超参搜索支持使用这种方式评估压缩前后模型的精度损失。

压缩训练结束后，会在 output 文件夹中生成：

• model.pdiparams：飞桨预测模型权重

• model.pdmodel：飞桨预测模型文件

• calibration_table.txt：量化后校准表

• quant_model.onnx：量化后转出的 ONNX 模型

2.3.1 测试模型精度¶

测试压缩前模型的精度:

CUDA_VISIBLE_DEVICES=0 python ./image_classification/eval.py
### Eval Top1: 0.7171724759615384

测试压缩后模型的精度:

CUDA_VISIBLE_DEVICES=0 python ./image_classification/eval.py --model_dir='MobileNetV1_quant'### Eval Top1: 0.7166466346153846

对比模型压缩前后 Eval Top1 精度指标发现，模型几乎精度无损。由于是使用的超参搜索的方法来选择的量化参数，所以每次运行得到的量化模型精度会有些许波动。

2.3.2 测试模型速度¶

压缩后模型速度的测试依赖推理库的支持，所以确保安装的是带有 TensorRT 的飞桨框架。以下示例和展示的测试结果是基于 Tesla V100、CUDA 10.2、python3.7 得到的。

使用以下指令查看本地 cuda 版本，并且在下载链接中下载对应 cuda 版本和对应 Python 版本的飞桨框架安装包。

cat /usr/local/cuda/version.txt ### CUDA Version 10.2.89
### 10.2.89 为 cuda 版本号，可以根据这个版本号选择需要安装的带有 TensorRT 的 PaddlePaddle 安装包。

1. 安装下载的 whl 包

注意：

这里通过 wget 下载到的是 python3.7、cuda10.2 的飞桨框架安装包。若您的环境和示例环境不同，请依赖您自己机器的环境下载对应的安装包，否则运行示例代码会报错。

wget https://paddle-inference-lib.bj.bcebos.com/2.3.0/python/Linux/GPU/x86-64_gcc8.2_avx_mkl_cuda10.2_cudnn8.1.1_trt7.2.3.4/paddlepaddle_gpu-2.3.0-cp37-cp37m-linux_x86_64.whl
pip install paddlepaddle_gpu-2.3.0-cp37-cp37m-linux_x86_64.whl --force-reinstall

1. 测试模型速度

准备好 inference 模型后，使用以下命令进行预测：

• 测试压缩前模型的速度

python infer.py --config_path="configs/infer.yaml"

配置文件：configs/infer.yaml中有以下字段用于配置预测参数：

• inference_model_dir：inference 模型文件所在目录，该目录下需要有文件 .pdmodel 和 .pdiparams 两个文件

• model_filename：inference_model_dir 文件夹下的模型文件名称

• params_filename：inference_model_dir 文件夹下的参数文件名称

• batch_size：预测一个 batch 的大小

• image_size：输入图像的大小

• use_tensorrt：是否使用 TesorRT 预测引擎

• use_gpu：是否使用 GPU 预测

• enable_mkldnn：是否启用MKL-DNN加速库，注意enable_mkldnn与use_gpu同时为True时，将忽略enable_mkldnn，而使用GPU预测

• use_fp16：是否启用FP16

• use_int8：是否启用INT8

注意：

• 请注意模型的输入数据尺寸，如 InceptionV3 输入尺寸为 299，部分模型需要修改参数：image_size。

• 如果希望提升评测模型速度，使用 GPU 评测时，建议开启 TensorRT 加速预测，使用 CPU 评测时，建议开启 MKL-DNN 加速预测。

python ./image_classification/infer.py
### using tensorrt FP32    batch size: 1 time(ms): 0.6140608787536621

• 测试 FP16 模型的速度

python ./image_classification/infer.py --use_fp16=True
### using tensorrt FP16    batch size: 1 time(ms): 0.5795984268188477

• 测试 INT8 模型的速度

python ./image_classification/infer.py --model_dir=./MobileNetV1_quant/ --use_int8=True
### using tensorrt INT8 batch size: 1 time(ms): 0.5213963985443115

**提示：**如果要压缩的模型参数是存储在各自分离的文件中，需要先通过convert.py脚本将其保存成一个单独的二进制文件。