ELU激活函数
ELU不会有梯度消失的困扰
与 Leaky-ReLU 和 PReLU 类似，与 ReLU 不同的是，ELU 没有神经元死亡的问题(ReLU Dying 问题是指当出现异常输入时，在反向传播中会产生大的梯度，这种大的梯度会导致神经元死亡和梯度消失)。 它已被证明优于 ReLU 及其变体，如 Leaky-ReLU(LReLU) 和 Parameterized-ReLU(PReLU)。 与 ReLU 及其变体相比，使用 ELU 可在神经网络中缩短训练时间并提高准确度。
公式：
、
函数图像：
优点：
- 它在所有点上都是连续的和可微的。
- 与其他线性非饱和激活函数（如 ReLU 及其变体）相比，它有着更快的训练时间。
- 与 ReLU 不同，它没有神经元死亡的问题。 这是因为 ELU 的梯度对于所有负值都是非零的。
- 作为非饱和激活函数，它不会遇到梯度爆炸或消失的问题。
- 与其他激活函数（如 ReLU 和变体、Sigmoid 和双曲正切）相比，它实现了更高的准确性。
缺点：
- 与 ReLU 及其变体相比，由于负输入涉及非线性，因此计算速度较慢。 然而，在训练期间，ELU 的更快收敛足以弥补这一点。 但是在测试期间，ELU 的性能会比 ReLU 及其变体慢。
转自：Elu激活函数（Elu activation） - 李钢蛋的文章 - 知乎 https://zhuanlan.zhihu.com/p/387274419