activation_leaky_ReLU

Leaky ReLU 激活函数允许在输入小于零时使用一个较小的非零梯度,这有助于在训练过程中保持梯度的流动。

方程式

对于输入向量 x,Leaky ReLU 激活函数将计算:

`output = max(negative_slope * x, x)

`

输入

x

Leaky ReLU 激活函数的输入向量。

negative_slope

用于负输入值的斜坡的坡度

输出

output

应用 Leaky ReLU 函数后激活的向量。