TensorCheckerConfig¶

参数¶

• enable（bool) : 布尔值，指示是否启用检测张量中的 NaN 和 Inf 值。默认值为 False，这意味着不使用这些工具。

• debug_mode(DebugMode, 可选) : 确定要使用的调试类型的参数。默认 CHECK_NAN_INF_AND_ABORT，此模式打印或保存包含 NaN/Inf 的张量的关键信息，并中断程序。

• output_dir(str, 可选） : 用于存储检查日志的文件路径，默认为 None。

• checked_op_list(list|tuple, 可选) : 指定程序运行过程中需要检查的算子列表，例如 checked_op_list=['elementwise_add', 'conv2d']，表示程序运行过程中对 elementwise_add 和 conv2d 的输出结果进行 NaN/Inf 检查。默认为 None。

• skipped_op_list(list|tuple, 可选) : 指定程序运行过程中不需要检查的算子列表，例如 skipped_op_list=['elementwise_add', 'conv2d']，表示程序运行过程中不对 elementwise_add 和 conv2d 的输出结果进行 NaN/Inf 检查。默认为 None。

• debug_step(list|tuple, 可选) : 列表或元组，主要用于模型训练过程中的 NaN/Inf 检查。例如： debug_step=[1, 5] 表示只对模型训练迭代 1~5 之间进行 NaN/Inf 检查。默认为 None。

• stack_height_limit(int, 可选) : 整数值，指定调用栈的最大深度。该功能支持在错误位置打印调用栈。目前仅支持开启或关闭调用栈打印。如果您想在 GPU Kernel 检测到 NaN 时打印相应的 C++ 调用栈，可以将 stack_height_limit 设置为 1，否则设置为 0。默认为 1。

代码示例¶

import paddle

checker_config = paddle.amp.debugging.TensorCheckerConfig(enable=True, debug_mode=paddle.amp.debugging.DebugMode.CHECK_NAN_INF)
paddle.amp.debugging.enable_tensor_checker(checker_config)

x = paddle.to_tensor([1, 0, 3], place=paddle.CPUPlace(), dtype='float32', stop_gradient=False)
y = paddle.to_tensor([0.2, 0, 0.5], place=paddle.CPUPlace(), dtype='float32')
res = paddle.pow(x, y)
paddle.autograd.backward(res, retain_graph=True)
paddle.amp.debugging.disable_tensor_checker()

#[PRECISION] [ERROR] in [device=cpu, op=elementwise_pow_grad, tensor=, dtype=fp32], numel=3, num_nan=1, num_inf=0, num_zero=0, max=2.886751e-01, min=2.000000e-01, mean=-nan

# when DebugMode.CHECK_NAN_INF_AND_ABORT and stack_height_limit = 1
#Traceback (most recent call last):
#    res = paddle.pow(x, y)
#  File "/usr/local/lib/python3.8/dist-packages/paddle/tensor/math.py", line 447, in pow
#    return _C_ops.elementwise_pow(x, y)