IT 面试题库

PyTorch 的 autograd 机制是如何工作的?requires_grad 与 detach 各起什么作用?

中级简答题机器学习工程师深度学习工程师算法工程师PyTorchautograd反向传播

题目

说明动态图记录、反向传播的链式计算,以及梯度控制常用手段。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

机制:PyTorch 用动态计算图——前向计算时,每个对 requires_grad=True 张量的运算都会记录成图节点(Function 对象,保存反向函数与输入输出引用)。调用 loss.backward() 时从 loss 出发反向遍历该图,按链式法则把梯度累加到各叶子张量的 .grad 上,随后图即释放(除非 retain_graph)。动态性:每次 forward 重新建图,控制流(if/循环)天然支持。

requires_grad:声明该张量需要梯度——叶子上决定是否追踪;参数默认 True,输入数据通常 False 省内存。detach():从当前图摘出一份新张量(共享数据、脱离追踪),常用于:① 冻结部分网络(配合 param.requires_grad=False);② target 计算不传梯度(如 TD target、对抗训练的固定分支);③ 日志记录避免构建无用图。

注意:梯度默认累加,每个 batch 前要 optimizer.zero_grad();with torch.no_grad(): 包推理,比 detach 更省心。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题