飞桨预测库昆仑 XPU 版安装及使用示例¶
在昆仑 XPU 硬件上常用的高性能预测库主要包括以下 3 个,分别适用不同的云边端场景:
名称 | 英文表示 | 适用场景 | 语言支持 | 安装方式 |
---|---|---|---|---|
飞桨原生推理库 | Paddle Inference | 高性能服务器端、云端推理 | Python、C++ | Python 版 whl 包下载或源码编译,C++版源码编译 |
飞桨服务化推理框架 | Paddle Serving | 自动服务、模型管理等高阶功能 | Python、C++ | 源码编译 |
飞桨轻量化推理引擎 | Paddle Lite | 移动端、物联网等 | Python、C++ | 源码编译 |
Paddle Inference 2.2 版本的安装及使用方式,请点击查看。
Paddle Serving 0.8.3 版本的安装及使用方式,请点击查看。
Paddle Lite 2.10 版本的安装及使用方式,请点击查看。