下载安装 Linux 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否打开 avx | 数学库 | gcc 版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(2.5.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | 8.2 | - | paddle_inference.tgz |
| CPU | 是 | OpenBLAS | 8.2 | - | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA10.2/cuDNN7.6/TensorRT7.0 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA10.2/cuDNN8.1/TensorRT7.2 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.2/cuDNN8.2/TensorRT8.0 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.6/cuDNN8.4/TensorRT8.4 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.7/cuDNN8.4/TensorRT8.4 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference.tgz |
| GPU | 是 | MKL | 12.2 | CUDA12.0/cuDNN8.9/TensorRT8.6 | paddle_inference.tgz |
| Jetson(all) | - | - | 7.5 | Jetpack 4.5 | paddle_inference.tgz |
| Jetson(Nano) | - | - | 7.5 | Jetpack 4.5 | paddle_inference.tgz |
| Jetson(TX2) | - | - | 7.5 | Jetpack 4.5 | paddle_inference.tgz |
| Jetson(Xavier) | - | - | 7.5 | Jetpack 4.5 | paddle_inference.tgz |
| Jetson(all) | - | - | 7.5 | Jetpack 4.6 | paddle_inference.tgz |
| Jetson(Nano) | - | - | 7.5 | Jetpack 4.6 | paddle_inference.tgz |
| Jetson(TX2) | - | - | 7.5 | Jetpack 4.6 | paddle_inference.tgz |
| Jetson(Xavier) | - | - | 7.5 | Jetpack 4.6 | paddle_inference.tgz |
| Jetson(all) | - | - | 7.5 | Jetpack 4.6.1 | paddle_inference.tgz |
| Jetson(Nano) | - | - | 7.5 | Jetpack 4.6.1 | paddle_inference.tgz |
| Jetson(TX2) | - | - | 7.5 | Jetpack 4.6.1 | paddle_inference.tgz |
| Jetson(Xavier) | - | - | 7.5 | Jetpack 4.6.1 | paddle_inference.tgz |
| Jetson(all) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(Nano) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(TX2) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(Xavier) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(all) | - | - | 9.4 | Jetpack 5.1.1 | paddle_inference.tgz |
C 推理库¶
预编译包使用方式见：推理示例（C）
| 硬件后端 | 是否打开 avx | 数学库 | gcc 版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(2.5.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | 8.2 | - | paddle_inference_c.tgz |
| CPU | 是 | OpenBLAS | 8.2 | - | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA10.2/cuDNN7.6/TensorRT7.0 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA10.2/cuDNN8.1/TensorRT7.2 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.2/cuDNN8.2/TensorRT8.0 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.6/cuDNN8.4/TensorRT8.4 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.7/cuDNN8.4/TensorRT8.4 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 12.2 | CUDA12.0/cuDNN8.9/TensorRT8.6 | paddle_inference_c.tgz |
Python 推理库¶
预编译包使用方式见：推理示例（Python）
| 版本说明 | python3.7 | python3.8 |
|---|---|---|
| Jetpack4.5(4.4): nv_jetson-cuda10.2-trt7-all | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.5(4.4): nv_jetson-cuda10.2-trt7-nano | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.5(4.4): nv_jetson-cuda10.2-trt7-tx2 | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.5(4.4): nv_jetson-cuda10.2-trt7-xavier | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6：nv_jetson-cuda10.2-trt8.0-all | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6：nv_jetson-cuda10.2-trt8.0-nano | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6：nv_jetson-cuda10.2-trt8.0-tx2 | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6：nv_jetson-cuda10.2-trt8.0-xavier | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6.1：nv_jetson-cuda10.2-trt8.2-all | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6.1：nv_jetson-cuda10.2-trt8.2-nano | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6.1：nv_jetson-cuda10.2-trt8.2-tx2 | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack4.6.1：nv_jetson-cuda10.2-trt8.2-xavier | paddlepaddle_gpu-2.5.2-cp37-cp37m-linux_aarch64.whl | |
| Jetpack5.0.2：nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-all | paddlepaddle_gpu-2.5.2-cp38-cp38m-linux_aarch64.whl | |
| Jetpack5.0.2：nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-nano | paddlepaddle_gpu-2.5.2-cp38-cp38m-linux_aarch64.whl | |
| Jetpack5.0.2：nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-tx2 | paddlepaddle_gpu-2.5.2-cp38-cp38m-linux_aarch64.whl | |
| Jetpack5.0.2：nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-xavier | paddlepaddle_gpu-2.5.2-cp38-cp38m-linux_aarch64.whl | |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-orin | paddlepaddle_gpu-2.5.2-cp38-cp38m-linux_aarch64.whl | |
| Jetpack5.1.1：nv-jetson-cuda11.4-cudnn8.6.0-trt8.5.2-jetpack5.1.1-all | paddlepaddle_gpu-2.5.2-cp38-cp38m-linux_aarch64.whl |
下载安装 Windows 推理库¶
环境硬件配置：
| 操作系统 | win10 家庭版本 |
|---|---|
| CPU | I7-8700K |
| 内存 | 16G |
| 硬盘 | 1T hdd + 256G ssd |
| 显卡 | GTX1080 8G |
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否使用 avx | 编译器 | CUDA/cuDNN/TensorRT 版本 | 数学库 | 推理库(2.5.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MSVC 2017 | - | MKL | paddle_inference.zip |
| CPU | 是 | MSVC 2017 | - | OpenBLAS | paddle_inference.zip |
| GPU | 是 | MSVC 2017 | CUDA10.2/cuDNN7.6/TensorRT7.0 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.2/cuDNN8.2/TensorRT8.0 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.6/cuDNN8.4/TensorRT8.4 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.7/cuDNN8.4/TensorRT8.4 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.8/cuDNN8.6/TensorRT8.5 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA12.0/cuDNN8.9/TensorRT8.6 | MKL | paddle_inference.zip |
C 推理库¶
预编译包使用方式见：推理示例（C）
| 硬件后端 | 是否打开 avx | 数学库 | 编译器版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(2.5.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | MSVC 2017 | - | paddle_inference_c.zip |
| CPU | 是 | OpenBLAS | MSVC 2017 | - | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2017 | CUDA10.2/cuDNN7.6/TensorRT7.0 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.2/cuDNN8.2/TensorRT8.0 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.6/cuDNN8.4/TensorRT8.4 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.7/cuDNN8.4/TensorRT8.4 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA12.0/cuDNN8.8/TensorRT8.6 | paddle_inference_c.zip |
下载安装 Mac 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否打开 avx | 数学库 | 推理库(2.5.2 版本) |
|---|---|---|---|
| X86_64 | 是 | OpenBLAS | paddle_inference.tgz |
| m1 | 否 | OpenBLAS | paddle_inference.tgz |
C 推理库¶
预编译包使用方式见：推理示例（C）
| 硬件后端 | 是否打开 avx | 数学库 | 推理库(2.5.2 版) |
|---|---|---|---|
| X86_64 | 是 | OpenBLAS | paddle_inference_c.tgz |
| m1 | 否 | OpenBLAS | paddle_inference_c.tgz |