straight

Pytorch笔记：STE（Straight Through Estimator）解决forward pass中的non-differentiable操作，以torch.round()为例

问题提出在图像、模型压缩算法中往往涉及量化的操作。即将无限、连续的变量映射到有限、离散的空间中，方便存储和进一步计算。比如round操作：import torchatorch.randi

为例操作笔记 straight STE

admin 3月前

49 0
pytorch实现straight-through estimator（STE）

现在深度学习中一般我们学习的参数都是连续的，因为这样在反向传播的时候才可以对梯度进行更新。但是有的时候我们也会遇到参数是离>散的情况，这样就没有办法进行反向传播了，比如

straight pytorch STE estimator

admin 7月前

132 0