Vanishing & Exploding Gradient Problem & Dying ReLU Problem

请我喝杯咖啡☕

*备忘录：

• 我的帖子解释了过拟合和欠拟合。
• 我的文章解释了 PyTorch 中的图层。
• 我的文章解释了 PyTorch 中的激活函数。
• 我的文章解释了 PyTorch 中的损失函数。
• 我的文章解释了 PyTorch 中的优化器。

梯度消失问题：

• 是在反向传播过程中，梯度越来越小或者为零，从输出层到输入层多次将小梯度相乘，则模型无法有效训练。
• 模型中层数越多，更容易发生。
• 很容易由Sigmoid激活函数引起，即PyTorch中的Sigmoid()，因为它会产生范围为0
• 发生在：
  • CNN（卷积神经网络）.
  • RNN(循环神经网络) 是 PyTorch 中的 RNN()。
• 不容易发生在：
  • LSTM（长短期记忆） 即 PyTorch 中的 LSTM()。
  • GRU（门控循环单元） 即 PyTorch 中的 GRU()。
  • Resn​​et（残差神经网络），即 PyTorch 中的 Resnet。
  • Transformer 是 PyTorch 中的 Transformer()。
  • 等等
• 在以下情况下可以被检测到：
  • 靠近输出层的层参数显着变化，而靠近输入层的层参数略有变化或保持不变。
  • 输入层附近各层的权重接近0或变为0。
  • 收敛缓慢或停止。
• 可以通过以下方式缓解：
  • 批量归一化层，即 PyTorch 中的 BatchNorm1d()、BatchNorm2d() 或 BatchNorm3d()。
  • Leaky ReLU 激活函数，即 PyTorch 中的 LeakyReLU()。 *您还可以使用 ReLU 激活函数，即 PyTorch 中的 ReLU()，但它有时会导致 Dying ReLU Problem，我稍后会解释。
  • PReLU 激活函数，即 PyTorch 中的 PReLU()。
  • ELU 激活函数 即 PyTorch 中的 ELU()。
  • 梯度裁剪，即PyTorch中的clip_grad_norm_()或clip_grad_value_()。 *渐变裁剪是将渐变保持在指定范围内的方法。

梯度爆炸问题：

• 在反向传播过程中，梯度变得越来越大，从输出层到输入层将更大的梯度相乘多次，然后就不可能收敛。
• 模型中层数越多，更容易发生。
• 发生在：
  • CNN.
  • RNN.
  • LSTM.
  • GRU.
• 不容易发生在：
  • Resn​​et.
  • 变压器。
  • 等等
• 在以下情况下可以被检测到：
  • 模型的权重显着增加。
  • 模型权重显着增加最终变成NaN。
  • 收敛是波动的，没有完成。
• 可以通过以下方式缓解：
  • 批量归一化层.
  • 渐变裁剪.

Dying ReLU 问题：

• 在反向传播过程中，一旦具有ReLU激活函数的节点（神经元）接收到零或负输入值，它们总是为任何输入值产生零，最后，它们永远不会恢复产生任何值，除了为零，则无法有效训练模型。
• 也称为Dead ReLU问题。
• 更容易发生在：
  • 更高的学习率。
  • 更高的负面偏见。
• 在以下情况下可以被检测到：
  • 收敛缓慢或停止。
  • 损失函数返回 nan。
• 可以通过以下方式缓解：
  • 较低的学习率。
  • 积极的偏见。
  • Leaky ReLU 激活函数.
  • PReLU 激活函数.
  • ELU 激活函数.

以上就是Vanishing & Exploding Gradient Problem & Dying ReLU Problem的详细内容，更多请关注硕下网其它相关文章！