本文详细介绍了牛顿法在非线性优化中的应用，包括求解方程0点、一维无约束最小值和高维无约束最小值。牛顿法以其二阶收敛速度在某些情况下优于梯度下降法。然而，它要求目标函数二次可微，且需要计算Hessian逆矩阵，这可能导致在某些情况下的收敛问题。尽管如此，当初始点接近解且条件满足时，牛顿法能有效找到极值点。
作为非线性优化的基础，先从牛顿法开始
牛顿法Newton’s method，又称牛顿-拉弗森法（Newton-Raphson’s method)
可用来1.求解方程根 2.求解极值
1.求解方程0点
目标：求解f(y)=0f(y)=0的根
计算穿过初始值点(x0,f(x0))(x0,f(x0))并且斜率为f′(x0)f′(x0)的直线与xx轴的焦点可得
因此迭代公式为
xn+1=xn−f(xn)f′(xn)xn+1=xn−f(xn)f′(xn)
2.求解一维无约束最小值
目标：求解minf(x),x∈Rminf(x),x∈R的根
牛顿法也可用来求解函数的极值。函数极值点处的导数值为零，故可用牛顿法求导函数的零点。
f(x+Δ)f(x+Δ)的二阶泰勒展开为
f(x+Δ)=f(x)+f′
扫一扫
1808
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
