下载安装 Linux 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否打开 avx | 数学库 | gcc 版本 | CUDA/cuDNN/TensorRT 版本 | 推理库(3.0.0-beta1 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MKL | 8.2 | - | paddle_inference.tgz |
| CPU | 是 | OpenBLAS | 8.2 | - | paddle_inference.tgz |
| GPU | 是 | MKL | 8.2 | CUDA11.8/cuDNN8.6/TensorRT8.5 | paddle_inference.tgz |
| GPU | 是 | MKL | 12.2 | CUDA12.3/cuDNN9.0/TensorRT8.6 | paddle_inference.tgz |
| Jetson(all) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(Nano) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(TX2) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(Xavier) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
| Jetson(orin) | - | - | 9.4 | Jetpack 5.0.2 | paddle_inference.tgz |
Python 推理库¶
预编译包使用方式见：推理示例（Python）
| 版本说明 | python3.8 |
|---|---|
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-all | paddlepaddle_gpu-3.0.0b1-cp38-cp38-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-nano | paddlepaddle_gpu-3.0.0b1-cp38-cp38-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-tx2 | paddlepaddle_gpu-3.0.0b1-cp38-cp38-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-xavier | paddlepaddle_gpu-3.0.0b1-cp38-cp38-linux_aarch64.whl |
| Jetpack5.0.2: nv-jetson-cuda11.4-cudnn8.4.1-trt8.4.1-jetpack5.0.2-orin | paddlepaddle_gpu-3.0.0b1-cp38-cp38-linux_aarch64.whl |
下载安装 Windows 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否使用 avx | 编译器 | CUDA/cuDNN/TensorRT 版本 | 数学库 | 推理库(3.0.0-beta1 版本) |
|---|---|---|---|---|---|
| CPU | 是 | MSVC 2019 | - | MKL | paddle_inference.zip |
| CPU | 是 | MSVC 2019 | - | OpenBLAS | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA11.8/cuDNN8.6/TensorRT8.5 | MKL | paddle_inference.zip |
| GPU | 是 | MSVC 2019 | CUDA12.3/cuDNN9.0/TensorRT8.6 | MKL | paddle_inference.zip |
下载安装 Mac 推理库¶
C++ 推理库¶
预编译包使用方式见：推理示例（C++）
| 硬件后端 | 是否打开 avx | 数学库 | 推理库(3.0.0-beta1 版本) |
|---|---|---|---|
| X86_64 | 是 | Accelerate BLAS | paddle_inference.tgz |
| m1 | 否 | Accelerate BLAS | paddle_inference.tgz |