使用 X2Paddle 迁移推理模型¶

1.1 支持迁移的源模型¶

• PyTorch、ONNX、TensorFlow、Caffe 模型，可以通过 X2Paddle 直接完成模型转换，各框架支持的版本请参见下文 1.4 迁移环境依赖。

• 其他框架如 MXNet、MindSpore 等，可以先转为 ONNX 格式的模型，再使用 X2Paddle 进行转换。

说明：需要模型中用到的算子（OP）X2Paddle 均支持，才能实现转换，如果存在不支持的 OP 转换时会给出报错提示。目前 X2Paddle 支持大部分主流的 CV 和 NLP 模型转换，支持 130 多个 PyTorch OP，90 多个 ONNX OP，90 多个 TensorFlow OP 以及 30 多个 Caffe OP，详见 X2Paddle 支持 OP 列表。

1.2 支持迁移的目标模型¶

飞桨提供了一系列的模型部署工具，覆盖服务器端、移动/IoT 端、网页端、服务化部署等各种场景。如果转换后的推理模型要部署到：

• 服务器端，可以通过 X2Paddle 直接转换为 Paddle Inference 支持的格式，即 .pdmodel、.pdiparams、.pdiparams.info 格式文件。

• 移动/IoT 端，可以通过 X2Paddle 直接转换为 Paddle Lite 支持的格式，即 .nb 格式文件。

• 其他部署环境，如服务化部署（Paddle Serving）、网页端部署（Paddle.js），可以通过 X2Paddle 先转为 Paddle Inference 的模型格式，再使用对应工具转为其支持的格式。飞桨所有部署工具支持的模型格式，其实都可以用原生推理库 Paddle Inference 支持的模型格式转换而来。

1.3 迁移工具和用法¶

from x2paddle.convert import pytorch2paddle

# 省略模型定义和参数加载的代码
torch_module.eval()
pytorch2paddle(module=torch_module,
               save_dir="./pd_model",
               jit_type="trace",
               input_examples=[torch_input])
               enable_code_optim=False,
               convert_to_lite=False,
               lite_valid_places="arm",
               lite_model_type="naive_buffer")

x2paddle --framework=onnx --model=onnx_model.onnx --save_dir=pd_model

x2paddle --framework=tensorflow --model=tf_model.pb --save_dir=pd_model

x2paddle --framework=caffe --prototxt=deploy.prototxt --weight=deploy.caffemodel --save_dir=pd_model

1.4 迁移环境依赖¶

• Python >= 3.5

• PaddlePaddle >= 2.0.0 （推荐使用最新版本）

• PyTorch >= 1.5.0（如需转换 PyTorch 模型）

  • 其他依赖：使用 PyTorch trace 方式时需安装 pandas、treelib

• ONNX >= 1.6.0（如需转换 ONNX 模型）

• TensorFlow == 1.14（如需转换 TensorFlow 模型）

• Paddle Lite >= 2.9.0（如需一键转换成 Paddle Lite 支持格式，推荐最新版本）

• Caffe 若无自定义 Layer，可使用 X2Paddle 自带 caffe_pb2.py，否则需自行将 caffe.proto 编译成 caffe_pb2.py 文件

接下来通过两个示例，介绍使用 X2Paddle 迁移推理模型的方法，为了能完整体验，先安装相关环境：

（1）安装 PaddlePaddle

pip install paddlepaddle==2.3.2

（2）安装 X2Paddle

# 方式一：pip 安装
pip install X2Paddle==1.3.9
# 方式二：源码安装
git clone https://github.com/PaddlePaddle/X2Paddle.git
cd X2Paddle
python setup.py install

（3）安装 PyTorch

pip install torch==1.12.0 torchvision==0.13.0
# 示例中用到 trace 方式，需要安装如下两个依赖
pip install pandas
pip install treelib

（4）安装 ONNX

pip install onnx==1.11.0

（5）安装 Paddle Lite

pip install paddlelite==2.11

2.1 转换模型¶

（1）加载 PyTorch 模型和参数

说明：PyTorch 模型转换需要准备 Module 组网代码和训练好的 .pth 模型参数文件。

from torchvision.models import AlexNet
from torch.hub import load_state_dict_from_url

# 获取 PyTorch Module，并加载模型参数
torch_model = AlexNet()
torch_state_dict = load_state_dict_from_url('https://download.pytorch.org/models/alexnet-owt-4df8aa71.pth')
torch_model.load_state_dict(torch_state_dict)
# 设置为 eval 模式
torch_model.eval()

（2）构造输入示例

PyTorch 到 PaddlePaddle 的转换需要传入输入的示例，才可以进行转换，以下为构建输入的过程（输入也可为值随机初始化的 Tensor）：

import numpy as np
# 随机生成数组
img = np.random.randn(1, 3, 224, 224).astype("float32")
# 转为 Torch.Tensor
import torch
input_tensor = torch.tensor(img)

（3）转换模型

• 方式一： Trace 方式 模型输入的 shape 固定，PyTorch 模型基本均支持此方式转换。

from x2paddle.convert import pytorch2paddle
save_dir = "pd_model_trace"
jit_type = "trace"         # 指定 trace 转换方式
pytorch2paddle(module=torch_model,
               save_dir=save_dir,
               jit_type=jit_type,
               input_examples=[input_tensor])

查看 Trace 方式转换结果

转换成功后，模型参数类型、参数量与 PyTorch 是一致的。

pd_model_trace
    inference_model            # 转换后的飞桨静态图模型结构以及参数文件
        model.pdiparams
        model.pdmodel
        model.pdiparams.info
    x2paddle_code.py           # 转换后的飞桨动态图组网代码
    model.pdparams             # 转换后的飞桨动态图模型参数文件

• 方式二： Script 方式 模型输入的 shape 可不固定，由于 PyTorch 的 Script 方式可识别的代码格式有限，所以 PyTorch 模型在此方式下转换的支持度较低。

from x2paddle.convert import pytorch2paddle
save_dir = "pd_model_script"
jit_type = "script"         # 指定 script 转换方式
pytorch2paddle(module=torch_model,
               save_dir=save_dir,
               jit_type=jit_type,
               input_examples=None)

以上示例中未指定输入大小，因此只生成了飞桨动态图代码 x2paddle_code.py 和 模型参数文件 model.pdparams。若想导出动态 shape 的静态图模型，可在此文件中添加如下代码，然后运行 main 函数手动动转静，动转静相关用法可参见 动态图转静态图 章节。

def main(x0):
    # There are 0 inputs.
    paddle.disable_static()
    params = paddle.load('pd_model_script/model.pdparams')
    model = AlexNet()
    model.set_dict(params)
    model.eval()
    ## convert to jit
    sepc_list = list()
    sepc_list.append(
            paddle.static.InputSpec(
                shape=[-1, 3, 224, 224], name="x0", dtype="float32"))
    static_model = paddle.jit.to_static(model, input_spec=sepc_list)
    paddle.jit.save(static_model, "pd_model_script/inference_model/model")
    out = model(x0)
    return out

查看 Script 方式转换结果

转换成功后，模型参数类型、参数量与 PyTorch 是一致的。

pd_model_script
    inference_model            # 转换后的飞桨静态图模型结构以及参数文件
        model.pdiparams
        model.pdmodel
        model.pdiparams.info
    x2paddle_code.py           # 转换后的飞桨动态图组网代码
    model.pdparams             # 转换后的飞桨动态图模型参数文件

2.2 验证模型¶

将 PyTorch 输入输出保存为 numpy 格式，保存为 input.npy 和 output.npy，通过如下脚本比较相同输入下 PyTorch 与 PaddlePaddle 结果绝对误差是否在 1e-5。

import paddle
import numpy as np
import sys

f = open('result.txt', 'w')
f.write("======AlexNet: \n")
try:
    # 加载 Paddle 模型
    paddle_path = "pd_model_trace/inference_model/model"
    model = paddle.jit.load(paddle_path)
    model.eval()
    dummy_input = paddle.to_tensor(np.load("input.npy"))
    # run
    result = model(dummy_input)
    paddle_result = result.numpy()

    pytorch_result = np.load("output.npy")
    is_successd = True
    # 比较 diff
    for i in range(1):
        diff = paddle_result - pytorch_result
        max_abs_diff = np.fabs(diff).max()
        if max_abs_diff >= 1e-05:
            relative_diff_all = max_abs_diff / np.fabs(pytorch_result).max()
            relative_diff = relative_diff_all.max()
            if relative_diff >= 1e-05:
                is_successd = False
    if is_successd:
        f.write("Dygraph Successed\n")
    else:
        f.write("!!!!!Dygraph Failed\n")
except:
    f.write("!!!!!Failed\n")

最终比较结果写在 result.txt 当中，若显示 Dygraph Successed 表示成功，验证通过后，则可使用 Paddle Inference 部署该模型。

3.1 转换模型¶

下载一个 YOLOv5Lite-E 的 ONNX 模型，直接通过命令行转换 ONNX 模型。

# 下载一个 ONNX 模型
wget https://bj.bcebos.com/paddlehub/fastdeploy/v5Lite-e-sim-320.onnx
# 执行模型转换命令
x2paddle --framework=onnx --model=v5Lite-e-sim-320.onnx --save_dir=pd_model --to_lite=True

（4）查看转换结果

转换成功后，模型参数类型、大小与 PyTorch 是一致的。

pd_model
    inference_model            # 转换后的飞桨静态图模型结构以及参数文件
        model.pdiparams
        model.pdmodel
        model.pdiparams.info
    x2paddle_code.py           # 转换后的飞桨动态图组网代码
    model.pdparams             # 转换后的飞桨动态图模型参数文件
    opt.nb              # 转换后的 Paddle Lite 支持的模型

3.2 验证模型¶

转换成功后，可通过 Paddle Lite 部署到端侧验证效果，具体示例可参考 Paddle Lite 文档。