activation_leaky_ReLU
Leaky ReLU 激活函数允许在输入小于零时使用一个较小的非零梯度,这有助于在训练过程中保持梯度的流动。
对于输入向量 x,Leaky ReLU 激活函数将计算:
x
`output = max(negative_slope * x, x)
`
Leaky ReLU 激活函数的输入向量。
negative_slope
用于负输入值的斜坡的坡度
output
应用 Leaky ReLU 函数后激活的向量。