声明：以下内容是基于书籍学习整理得到，难免有错误，随时指正交流；转载请注明出处~概述拟牛顿方法（Quasi-Newton Methods）表面上和最速下降法很像——每一步只用到梯度信息，从来不用算二阶导（Hessian）。但它比最速下降聪明得多：它会把每一步梯度的「变化情况」记下来，一点点攒出一个 Hessian 的近似，从而产生超线性（superlinear）的收敛效果——收敛速度介于最速下降（线性）和牛顿法（二次）之间，却省掉了牛顿法里最贵的那一步：算 Hessian 并求解线性方程组。直觉：牛顿法之所以快，是因为它知道「地面的曲率」——不但知道往哪边下坡，还知道这个坡有多陡、弯曲得有多急，所以能一步迈到位；最速下降法则完全不知道曲率，只能沿着当前坡度小步试探，容易在狭长的峡谷里走「之字形」。拟牛顿方法的想法是：曲率信息不必精确计算，可以从「走过的每一步梯度变了多少」里反推出来——每走一步，都用这一步的位移sks_k