机器学习中的优化算法简介

课程编码：180080070105M0007H 英文名称：Introduction to Optimization Algorithms in Machine Learning 课时：20 学分：1.00 课程属性：高级强化课 主讲教师：蔡邢菊

"一、教学目的
1.基本模型：了解机器学习中的最优化问题，比如强化学习、最优传输、分式规划等，能从实际问题中抽象成优化问题。
2.理论奠基：掌握最优化的基本理论、掌握有限维变分不等式（VI）与互补问题（CP）的基本概念及数学表述.理解约束优化问题的约束品性、KKT条件和变分不等式问题的等价形式。
3.算法实现：熟悉求解优化问题的基本算法（如梯度类法、邻近点方法等）。能够编程实现关键算法（如 Matlab/Python 实现投影梯度法等）。
4.应用拓展：将 VI/CP 与优化问题、博弈论、经济学均衡问题建立联系，培养跨学科建模能力。并能分析实际案例（如交通网络均衡、电力市场定价）。
二、教学要求
1.知识掌握：能准确表述机器学习中常见的优化问题、变分不等式（VI）的几何与代数形式、理解互补问题（CP）与变分不等式问题的等价性。
2.算法实现：独立编写投影梯度法求解变分不等式的程序、分析算法收敛性和复杂度、分析不同算法求解变分不等式问题的收敛速度。
3.应用分析：如将 Nash 均衡问题转化为变分不等式形式（如多玩家博弈的均衡条件等）。

无

第一章 机器学习中的最优化问题 4.0学时 蔡邢菊
第1节 机器学习中常见的优化模型
第2节 变分不等式中的实际问题
第二章 最优化理论 4.0学时 蔡邢菊
第1节 最优化的基本理论
第2节 变分不等式和互补问题的等价形式
第三章 常见的优化算法 8.0学时 蔡邢菊
第1节 梯度下降法
第2节 邻近点算法
第3节 邻近梯度法
第4节 牛顿法和BFGS方法
第5节 增广拉格朗日方法和交替方向法
第四章 投影类算法及收敛性分析 4.0学时 蔡邢菊
第1节 基本的投影方法及其收敛性
第2节 外梯度算法及其收敛性
第3节 超平面投影算法及其收敛性

略