“数值”优化：设置算法时，要考虑舍入误差。

数值优化问题分类：

• 无约束优化  VS 约束优化
• 线性规划。目标函数和约束函数都是线性的
• 二次规划。目标函数为二次的，约束函数为线性。
• 凸优化。目标函数为凸的，约束函数为线性的。

局部解 VS 全局解

连续   VS  离散

确定  VS  随机

无约束优化问题基础

解的一阶必要条件：

解的二阶必要条件：

解的二阶充分条件：

迭代算法（如何构造下一个迭代点）、终止条件

一阶、二阶、直接算法

直接算法无需使用导数，一阶算法需要使用一阶导数，二阶算法需要用到二阶导数。

算法的收敛性：

全局收敛的算法：

局部收敛的算法：

 算法收敛速度

线性收敛：

超线性收敛：

二次收敛：

方法概述