Propagating

Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation

一般认为，为了计算梯度，网络的平滑性是必须的，但实际情况却并非如此。我们可以通过向硬性函数（如阈值函数）中加入扰动来观察效果，进而评估梯度。但是向如果加入的是独立的扰动，那么就会使得后向传播的花费变得非常之多，于是我们提出了随机扰动的想法。

Gradients Propagating Estimating Stochastic Computation

admin 7月前

126 0