声明:以下内容是基于书籍学习整理得到,难免有错误,随时指正交流;转载请注明出处~概述最优化问题中的很多算法——包括非线性最优化、非线性方程求解等——都需要计算导数。简单函数可以直接手工推导或编码实现;但对于复杂的情况(比如目标函数本身是一大段仿真代码),就需要一些系统的方法来计算或近似导数。直觉:前面几章我们一直假装「梯度是免费的」——每次写∇ f k \nabla f_k∇f