PyTorch Autograd自动区分功能

Question

我只是想知道，PyTorch如何跟踪张量上的操作（将.requires_grad设置为后True，以及以后如何自动计算梯度。请帮助我理解背后的想法autograd。谢谢。

Answer 1

这是一个很好的问题！通常，自动微分（AutoDiff）的思想基于多变量链规则，即 。
这意味着您可以通过“代理”变量y表示x相对于z的导数；实际上，这使您可以分解一堆更简单（或原子）的操作中的几乎所有操作，然后将这些操作“链接”在一起。
现在，什么样的AutoDiff包像Autograd这样做只是存储此类原子运算块的导数，例如除法，乘法等。然后，在运行时，您提供的正向传递公式（由这些块中的多个组成）可以轻松转换为精确的导数。同样，如果您认为AutoDiff不能完全按照自己的意愿进行操作，则还可以为自己的操作提供衍生工具。

AutoDiff优于有限差分之类的导数逼近的优点仅仅是因为这是一个
精确的 解决方案。

如果您对它的内部工作方式进一步感兴趣，我强烈建议您使用AutoDidact项目，该项目旨在简化自动微分器的内部，因为通常还涉及很多代码优化。而且，我参加的一次演讲中的这组幻灯片确实有助于理解。