下载安装 Linux 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否打开 avx | 数学库 | gcc 版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(2.6.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | 8.2 | - | paddle_inference.tgz |
| CPU | 是 | OpenBLAS | 8.2 | - | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.2/cuDNN8.2/TensorRT8.0 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.6/cuDNN8.4/TensorRT8.4 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.7/cuDNN8.4/TensorRT8.4 | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference.tgz |
| GPU | 是 | MKL | 12.2 | CUDA12.0/cuDNN8.9/TensorRT8.6 | paddle_inference.tgz |
| Jetson(all) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(Nano) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(TX2) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(Xavier) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(orin) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(all) | - | - | 9.4 | Jetpack 5.1.1 | paddle_inference.tgz |
C 推理库¶
预编译包使用方式见：推理示例（C）
| 硬件后端 | 是否打开 avx | 数学库 | gcc 版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(2.6.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | 8.2 | - | paddle_inference_c.tgz |
| CPU | 是 | OpenBLAS | 8.2 | - | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.2/cuDNN8.2/TensorRT8.0 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.6/cuDNN8.4/TensorRT8.4 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.7/cuDNN8.4/TensorRT8.4 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 8.2 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference_c.tgz |
| GPU | 是 | 是 | 12.2 | CUDA12.0/cuDNN8.9/TensorRT8.6 | paddle_inference_c.tgz |
Python 推理库¶
预编译包使用方式见：推理示例（Python）
| 版本说明 | python3.8 |
|---|---|
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-all | paddlepaddle_gpu-2.6.1-cp38-cp38m-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-nano | paddlepaddle_gpu-2.6.1-cp38-cp38m-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-tx2 | paddlepaddle_gpu-2.6.1-cp38-cp38m-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-xavier | paddlepaddle_gpu-2.6.1-cp38-cp38m-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-orin | paddlepaddle_gpu-2.6.1-cp38-cp38m-linux_aarch64.whl |
| Jetpack5.1.1: nv-jetson-cuda11.4-cudnn8.6.0-trt8.5.2-jetpack5.1.1-all | paddlepaddle_gpu-2.6.1-cp38-cp38m-linux_aarch64.whl |
下载安装 Windows 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否使用 avx | 编译器 | CUDA/cuDNN/TensorRT 版本 | 数学库 | 推理库(2.6.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MSVC 2019 | - | MKL | paddle_inference.zip |
| CPU | 是 | MSVC 2019 | - | OpenBLAS | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.2/cuDNN8.2/TensorRT8.0 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.6/cuDNN8.4/TensorRT8.4 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.7/cuDNN8.4/TensorRT8.4 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.8/cuDNN8.6/TensorRT8.5 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA12.0/cuDNN8.9/TensorRT8.6 | MKL | paddle_inference.zip |
C 推理库¶
预编译包使用方式见：推理示例（C）
| 硬件后端 | 是否打开 avx | 数学库 | 编译器版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(2.6.2 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | MSVC 2019 | - | paddle_inference_c.zip |
| CPU | 是 | OpenBLAS | MSVC 2019 | - | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.2/cuDNN8.2/TensorRT8.0 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.6/cuDNN8.4/TensorRT8.4 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.7/cuDNN8.4/TensorRT8.4 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference_c.zip |
| GPU | 是 | MKL | MSVC 2019 | CUDA12.0/cuDNN8.9/TensorRT8.6 | paddle_inference_c.zip |
下载安装 Mac 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否打开 avx | 数学库 | 推理库(2.6.2 版本) |
|---|---|---|---|
| X86_64 | 是 | OpenBLAS | paddle_inference.tgz |
| m1 | 否 | OpenBLAS | paddle_inference.tgz |
C 推理库¶
预编译包使用方式见：推理示例（C）
| 硬件后端 | 是否打开 avx | 数学库 | 推理库(2.6.2 版) |
|---|---|---|---|
| X86_64 | 是 | OpenBLAS | paddle_inference_c.tgz |
| m1 | 否 | OpenBLAS | paddle_inference_c.tgz |