组网、训练、评估常见问题¶
问题：stop_gradient=True的影响范围？¶
答复：如果静态图中某一层使用
stop_gradient=True，那么这一层之前的层都会自动stop_gradient=True，梯度不再回传。
问题：请问paddle.matmul和paddle.multiply有什么区别？¶
答复：
matmul支持的两个tensor的矩阵乘操作。muliply是支持两个tensor进行逐元素相乘。
问题：请问paddle.gather和torch.gather有什么区别？¶
答复：
paddle.gather和torch.gather的函数签名分别为：
paddle.gather(x, index, axis=None, name=None)
torch.gather(input, dim, index, *, sparse_grad=False, out=None)
其中，paddle.gather的参数x，index，axis分别与torch.gather的参数input，index，dim意义相同。
两者在输入形状、输出形状、计算公式等方面都有区别，具体如下：
paddle.gather输入形状：
x可以是任意的N维Tensor。但index必须是形状为[M]的一维Tensor，或形状为[M, 1]的二维Tensor。输出形状：输出Tensor
out的形状shape_out和x的形状shape_x的关系为：shape_out[i] = shape_x[i] if i != axis else M。计算公式：
out[i_1][i_2]...[i_axis]...[i_N] = x[i_1][i_2]...[index[i_axis]]...[i_N]。举例说明：假设
x的形状为[N1, N2, N3]，index的形状为[M]，axis的值为1，那么输出out的形状为[N1, M, N3]，且out[i_1][i_2][i_3] = x[i_1][index[i_2]][i_3]。
torch.gather输入形状：
input可以是任意的N维Tensor，且index.rank必须等于input.rank。输出形状：输出Tensor
out的形状与index相同。计算公式：
out[i_1][i_2]...[i_dim]...[i_N] = input[i_1][i_2]...[index[i_1][i_2]...[i_N]]...[i_N]。举例说明：假设
x的形状为[N1, N2, N3]，index的形状为[M1, M2, M3]，dim的值为1，那么输出out的形状为[M1, M2, M3]，且out[i_1][i_2][i_3] = input[i_1][index[i_1][i_2][i_3]][i_3]。
异同比较
只有当
x.rank == 1且index.rank == 1时，paddle.gather和torch.gather功能相同。其余情况两者无法直接互换使用。paddle.gather不支持torch.gather的sparse_grad参数。
问题：在模型组网时，inplace参数的设置会影响梯度回传吗？经过不带参数的op之后，梯度是否会保留下来？¶
答复：inplace 参数不会影响梯度回传。只要用户没有手动设置
stop_gradient=True，梯度都会保留下来。
问题：使用CPU进行模型训练，如何利用多处理器进行加速？¶
答复：在2.0版本动态图模式下，CPU训练加速可以从以下两点进行配置：
使用多进程DataLoader加速数据读取：训练数据较多时，数据处理往往会成为训练速度的瓶颈，paddle提供了异步数据读取接口DataLoader，可以使用多进程进行数据加载，充分利用多处理的优势，具体使用方法及示例请参考API文档：paddle.io.DataLoader。
推荐使用支持MKL（英特尔数学核心函数库）的paddle安装包，MKL相比Openblas等通用计算库在计算速度上有显著的优势，能够提升您的训练效率。
问题：使用NVIDIA多卡运行Paddle时报错 Nccl error，如何解决？¶
答复：这个错误大概率是环境配置不正确导致的，建议您使用NVIDIA官方提供的方法参考检测自己的环境是否配置正确。具体地，可以使用 NCCL Tests 检测您的环境；如果检测不通过，请登录 NCCL官网 下载NCCl，安装后重新检测。
问题：多卡训练时启动失败，Error：Out of all 4 Trainers，如何处理？¶
问题描述：多卡训练时启动失败，显示如下信息：
报错分析：主进程发现一号卡（逻辑）上的训练进程退出了。
解决方法：查看一号卡上的日志，找出具体的出错原因。
paddle.distributed.launch启动多卡训练时，设置--log_dir参数会将每张卡的日志保存在设置的文件夹下。
问题：训练时报错提示显存不足，如何解决？¶
答复：可以尝试按如下方法解决：
检查是当前模型是否占用了过多显存，可尝试减小
batch_size；开启以下三个选项：
#一旦不再使用即释放内存垃圾，=1.0 垃圾占用内存大小达到10G时，释放内存垃圾
export FLAGS_eager_delete_tensor_gb=0.0
#启用快速垃圾回收策略，不等待cuda kernel 结束，直接释放显存
export FLAGS_fast_eager_deletion_mode=1
#该环境变量设置只占用0%的显存
export FLAGS_fraction_of_gpu_memory_to_use=0
详细请参考官方文档存储分配与优化 调整相关配置。
此外，建议您使用AI Studio 学习与 实训社区训练，获取免费GPU算力，提升您的训练效率。
问题：如何提升模型训练时的GPU利用率？¶
答复：有如下两点建议：
如果数据预处理耗时较长，可使用DataLoader加速数据读取过程，具体请参考API文档：paddle.io.DataLoader。
如果提高GPU计算量，可以增大
batch_size，但是注意同时调节其他超参数以确保训练配置的正确性。
以上两点均为比较通用的方案，其他的优化方案和模型相关，可参考官方模型库 models 中的具体示例。
问题：如何处理变长ID导致程序内存占用过大的问题？¶
答复：请先参考显存分配与优化文档 开启存储优化开关，包括显存垃圾及时回收和Op内部的输出复用输入等。若存储空间仍然不够，建议：
降低
batch_size；对index进行排序，减少padding的数量。
问题：训练过程中如果出现不收敛的情况，如何处理？¶
答复：不收敛的原因有很多，可以参考如下方式排查：
检查数据集中训练数据的准确率，数据是否有错误，特征是否归一化；
简化网络结构，先基于benchmark实验，确保在baseline网络结构和数据集上的收敛结果正确；
对于复杂的网络，每次只增加一个改动，确保改动后的网络正确；
检查网络在训练数据上的Loss是否下降；
检查学习率、优化算法是否合适，学习率过大会导致不收敛；
检查
batch_size设置是否合适，batch_size过小会导致不收敛；检查梯度计算是否正确，是否有梯度过大的情况，是否为
NaN。
问题：Loss为NaN，如何处理？¶
答复：可能由于网络的设计问题，Loss过大（Loss为NaN）会导致梯度爆炸。如果没有改网络结构，但是出现了NaN，可能是数据读取导致，比如标签对应关系错误。还可以检查下网络中是否会出现除0，log0的操作等。
问题：训练后的模型很大，如何压缩？¶
答复：建议您使用飞桨模型压缩工具PaddleSlim。PaddleSlim是飞桨开源的模型压缩工具库，包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略，专注于模型小型化技术。
问题：load_inference_model在加载预测模型时能否用py_reader读取？¶
答复：目前
load_inference_model加载进行的模型还不支持py_reader输入。
问题：预测时如何打印模型中每一步的耗时？¶
答复：可以在设置config时使用
config.enable_profile()统计预测时每个算子和数据搬运的耗时。对于推理api的使用，可以参考官网文档Python预测API介绍。示例代码：
# 设置config:
def set_config(args):
config = Config(args.model_file, args.params_file)
config.disable_gpu()
# enable_profile()打开后会统计每一步耗时
config.enable_profile()
config.switch_use_feed_fetch_ops(False)
config.switch_specify_input_names(True)
config.switch_ir_optim(False)
return config
问题：模型训练时如何进行梯度裁剪？¶
答复：设置Optimizer中的
grad_clip参数值。
问题：静态图模型如何拿到某个variable的梯度？¶
答复：飞桨提供以下三种方式，用户可根据需求选择合适的方法：
使用paddle.static.Print()接口，可以打印中间变量及其梯度。
将变量梯度名放到fetch_list里，通过Executor.run()获取，一般variable的梯度名是variable的名字加上 "@GRAD"。
对于参数（不适用于中间变量和梯度），还可以通过Scope.find_var()接口，通过变量名字查找对应的tensor。
后两个方法需要使用变量名，飞桨中变量的命名规则请参见Name 。
# paddlepaddle>=2.0
import paddle
import numpy as np
paddle.enable_static()
data = paddle.static.data('data', shape=[4, 2])
out = paddle.static.nn.fc(x=data, size=1, num_flatten_dims=1, name='fc')
loss = paddle.mean(out)
loss = paddle.static.Print(loss) # 通过 Print 算子打印中间变量及梯度
opt = paddle.optimizer.SGD(learning_rate=0.01)
opt.minimize(loss)
exe = paddle.static.Executor()
exe.run(paddle.static.default_startup_program())
loss, loss_g, fc_bias_g = exe.run(
paddle.static.default_main_program(),
feed={'data': np.random.rand(4, 2).astype('float32')},
fetch_list=[loss, loss.name + '@GRAD', 'fc.b_0@GRAD']) # 通过将变量名加入到fetch_list获取变量
print(loss, loss_g, fc_bias_g)
print(paddle.static.global_scope().find_var('fc.b_0').get_tensor()) # 通过scope.find_var 获取变量
问题：paddle有对应torch.masked_fill函数api吗，还是需要自己实现？¶
答复：由于框架设计上的区别，没有对应的 api，但是可以使用 paddle.where 实现相同的功能。
# paddlepaddle >= 2.0
import paddle
paddle.seed(123)
x = paddle.rand([3, 3], dtype='float32')
# Tensor(shape=[3, 3], dtype=float32, place=CUDAPlace(0), stop_gradient=True,
# [[0.00276479, 0.45899123, 0.96637046],
# [0.66818708, 0.05855134, 0.33184195],
# [0.34202638, 0.95503175, 0.33745834]])
mask = paddle.randint(0, 2, [3, 3]).astype('bool')
# Tensor(shape=[3, 3], dtype=bool, place=CUDAPlace(0), stop_gradient=True,
# [[True , True , False],
# [True , True , True ],
# [True , True , True ]])
def masked_fill(x, mask, value):
y = paddle.full(x.shape, value, x.dtype)
return paddle.where(mask, y, x)
out = masked_fill(x, mask, 2)
# Tensor(shape=[3, 3], dtype=float32, place=CUDAPlace(0), stop_gradient=True,
# [[2. , 2. , 0.96637046],
# [2. , 2. , 2. ],
# [2. , 2. , 2. ]])
问题：在paddle中如何实现torch.nn.utils.rnn.pack_padded_sequence和torch.nn.utils.rnn.pad_packed_sequence这两个API？¶
答复：目前paddle中没有和上述两个API完全对应的实现。关于torch中这两个API的详细介绍可以参考知乎上的文章 pack_padded_sequence 和 pad_packed_sequence :
pack_padded_sequence的功能是将mini-batch数据进行压缩，压缩掉无效的填充值，然后输入RNN网络中；pad_packed_sequence则是把RNN网络输出的压紧的序列再填充回来，便于进行后续的处理。 在paddle中，大家可以在GRU、LSTM等RNN网络中输入含有填充值的mini-batch数据的同时传入对应的sequence_length参数实现上述等价功能，具体用法可以参考 RNN 。
问题：paddle是否有爱因斯坦求和（einsum）这个api？¶
答复：paddle在2.2rc 版本之后，新增了paddle.einsum，在 develop 和2.2rc 之后的版本中都可以正常使用。
问题：BatchNorm在训练时加载预测时保存的模型参数时报错 AssertionError: Optimizer set error, batch_norm_1.w_0_moment_0 should in state dict.¶
答复：BatchNorm在train模式和eval模式下需要的变量有差别，在train模式下要求传入优化器相关的变量，在eval模式下不管是保存参数还是加载参数都是不需要优化器相关变量的，因此如果在train模式下加载eval模式下保存的checkpoint，没有优化器相关的变量则会报错。如果想在train模式下加载eval模式下保存的checkpoint的话，用
paddle.load加载进来参数之后，通过set_state_dict接口把参数赋值给模型，参考以下示例：
import paddle
bn = paddle.nn.BatchNorm(3)
bn_param = paddle.load('./bn.pdparams')
bn.set_state_dict()