对于多元函数 L(w)，梯度 ∇L 指向上升最快的方向，负梯度 −∇L 则指向下降最快的方向。梯度下降沿 −∇L 更新参数，是学习率 × 梯度的反复迭代。
位置 (2.200, 1.800)
L = 17.8000
∇L = (4.400, 14.400)
已走 0 步
相关演示
数学基础 · 第 2 章路径 2/8本章完成 0%导数梯度链式法则
可用 ← → 键切换主题
梯度下降
多元函数 · 最速下降方向
微积分检查点
学完演示后来检验一下。全部答对即可标记本章测验通过。
1. 梯度下降中，参数更新方向一般是？
2. 学习率过大时，常见现象是？
3. 反向传播依赖的核心数学工具是？
与 AI 的联系
- 反向传播：链式法则逐层传递梯度，每个参数都求偏导数。
- 优化器：SGD、Adam 等都是在梯度方向上更新权重，学习率控制步长。
- ReLU 激活：在 x=0 处不可导，实践中仍广泛使用。