实用最优化算法及其应用

课程编码：070100MGX007H 英文名称：Practical Optimization Algorithms and Applications 课时：40 学分：1.50 课程属性：公共选修课 主讲教师：牛凌峰

本课程是为非数学专业硕士研究生所开的公共选修课。最优化问题在计算机科学，大气科学，地球科学，遥感技术，国防，工程，管理等许多领域广泛出现。本课程系统地介绍各种常用的最优化算法，还介绍部分针对求解特殊形式优化问题的算法。
通过本课程学习，希望学生能初步学会如何应用优化的主要算法去解决常见的优化问题。

高等数学、数值线性代数

第一章 引论 1学时 牛凌峰
第1节 优化问题的数学表示，实例，最优化方法的结构
第二章 无约束优化基础 2学时 牛凌峰
第1节 局部最优解与全局最有解、无约束优化求解方法概述
第2节 凸集、凸函数、凸规划
第三章 线搜索方法 5学时 牛凌峰
第1节 线搜索方法概述
第2节 如何选取搜索方向（最速下降法与牛顿法）
第3节 步长选择与充分下降条件
第4节 算法收敛性（全局收敛性和局部收敛速度）
第四章 信赖域方法 4学时 牛凌峰
第1节 信赖域方法概述
第2节 信赖域子问题求解（Cauchy点与方法的全局收敛性）
第3节 信赖域子问题求解（Dogleg方法、二维子空间方法）
第4节 基本信赖域方法扩展（信赖域牛顿法、1范数等）
第五章 共轭剃度方法 3学时 牛凌峰
第1节 线性共轭梯度法
第2节 非线性共轭梯度法
第六章 拟Newton方法 3学时 牛凌峰
第1节 拟Newton方法概述
第2节 对称秩1拟Newton公式
第3节 BFGS公式与DFP公式
第4节 Broyden族拟牛顿公式与方法收敛性
第七章 大规模无约束问题求解 3学时 牛凌峰
第1节 非精确牛顿法、有限内存技术，部分可分问题等
第八章 无约束优化问题应用-最小二乘 3学时 牛凌峰
第1节 线性最小二乘
第2节 非线性最小二乘-线搜索-Gauss-Newton方法
第3节 非线性最小二乘-信赖域-Levenberg-Marguardt方法
第九章 约束优化基础 3学时 牛凌峰
第1节 最优性条件
第2节 Lagrange乘子
第3节 对偶理论
第十章 线性规划 4学时 牛凌峰
第1节 单纯性方法
第2节 内点法
第十一章 二次规划 3学时 牛凌峰
第1节 等式约束二次规划（直接方法与迭代方法）
第2节 不等式约束二次规划（积极集方法、内点法、投影梯度法）
第十二章 罚函数方法和增广Lagrangian方法 3学时 牛凌峰
第1节 二次罚函数与非光滑罚函数
第2节 增广Lagrangian方法
第十三章 SQP方法 3学时 牛凌峰
第1节 算法框架
第2节 评价函数与filter方法
第3节 二阶校正步，收敛性分析

略