6. 使用 ONNXRuntime 进行预测¶
API定义如下:
// 启用 ONNXRuntime 进行预测
// 参数:None
// 返回:None
void EnableONNXRuntime();
// 禁用 ONNXRuntime 进行预测
// 参数:None
// 返回:None
void DisableONNXRuntime();
// 判断是否启用 ONNXRuntime
// 参数:None
// 返回:bool - 是否启用 ONNXRuntime
bool use_onnxruntime() const;
// 启用 ONNXRuntime 预测时开启优化
// 参数:None
// 返回:None
void EnableORTOptimization();
ONNXRuntime设置代码示例:
// 创建 Config 对象
paddle_infer::Config config(FLAGS_model_file, FLAGS_params_file);
// 启用 ONNXRuntime
config.EnableONNXRuntime();
// 通过 API 获取 ONNXRuntime 信息
std::cout << "Use ONNXRuntime is: " << config.use_onnxruntime() << std::endl; // true
// 开启 ONNXRuntime 优化
config.EnableORTOptimization();
// 设置 ONNXRuntime 算子计算线程数为 10
config.SetCpuMathLibraryNumThreads(10);
// 禁用 ONNXRuntime 进行预测
config.DisableONNXRuntime();
// 通过 API 获取 ONNXRuntime 信息
std::cout << "Use ONNXRuntime is: " << config.use_onnxruntime() << std::endl; // false