说明动态图记录、反向传播的链式计算,以及梯度控制常用手段。
机制:PyTorch 用动态计算图——前向计算时,每个对 requires_grad=True 张量的运算都会记录成图节点(Function 对象,保存反向函数与输入输出引用)。调用 loss.backward() 时从 loss 出发反向遍历该图,按链式法则把梯度累加到各叶子张量的 .grad 上,随后图即释放(除非 retain_graph)。动态性:每次 forward 重新建图,控制流(if/循环)天然支持。
requires_grad:声明该张量需要梯度——叶子上决定是否追踪;参数默认 True,输入数据通常 False 省内存。detach():从当前图摘出一份新张量(共享数据、脱离追踪),常用于:① 冻结部分网络(配合 param.requires_grad=False);② target 计算不传梯度(如 TD target、对抗训练的固定分支);③ 日志记录避免构建无用图。
注意:梯度默认累加,每个 batch 前要 optimizer.zero_grad();with torch.no_grad(): 包推理,比 detach 更省心。
题目与答案就在本页;收藏、批注和错题重练在应用内