算法中的最优化方法与实现

课程编码：180086085404P3002H 英文名称：Optimization Methods and Implementation in Algorithms 课时：40 学分：2.00 课程属性：专业课 主讲教师：林姝

强化学习是人工智能中最活跃的研究领域之一，它是一种计算学习方法，通过这种方法，智能体在与复杂、不确定的环境交互时，试图最大限度地获得总回报，以实现自主动态学习和迭代的目的。强化学习是在心理学、最优化方法、机器学习、控制理论等理论基础上建立和发展起来的动态在线学习方法，在智能化算法中起着重要的作用。
作为一门专业普及课程，本课程旨在讲授强化学习的理论和方法，通过课程学习和案例分析，使学生具有应用强化学习方法解决不同类型实际问题的初步技能，并为以后的学习、科研和工作做必要的准备。

基本要求：

1、掌握强化学习的基本概念、相关的原理框架和最常用的算法，注意方法处理的技巧及其与计算机的结合；
2、通过案例分析，学习使用各种强化学习方法解决实际中遇到的问题，提高分析、解决实际问题的能力。

《高等数学》、《矩阵论》、《最优化方法》

第一章 最优化方法的概述及其基本原理 3.0学时 林姝
第1节 数学框架
第2节 单峰性和凸性
第3节 正定矩阵
第4节 优化问题
第5节 最优化条件
第6节 收敛和停止准则
第二章 线性规划 3.0学时 林姝
第1节 线性规划问题
第2节 单纯形法
第三章 二次规划 3.0学时 林姝
第1节 二次规划算法
第2节 系统模型辨识示例
第四章 无约束非线性规划 3.0学时 林姝
第1节 牛顿和拟牛顿算法
第2节 搜索方向的确定方法和一维搜索法
第3节 Nelder-Mead 方法
第五章 有约束非线性规划 3.0学时 林姝
第1节 等式约束非线性规划
第2节 等式约束非线性规划
第六章 凸优化 3.0学时 林姝
第1节 凸函数
第2节 凸问题：仿射函数的范数估计
第3节 凸优化策略
第七章 全局优化 3.0学时 林姝
第1节 局部与全局最小值
第2节 随机搜索
第3节 多起始点部优化
第4节 模拟退火
第5节 遗传算法
第八章 MATLAB优化工具箱 3.0学时 林姝
第1节 线性规划
第2节 二次规划
第3节 无约束非线性优化
第4节 约束非线性优化
第九章 多目标优化 3.0学时 林姝
第1节 帕里托最优性
第2节 多目标优化策略
第十章 整数规划 3.0学时 林姝
第1节 整数规划问题
第2节 连续近似与复杂度
第3节 搜索方法
第4节 混合整数规划方法
第十一章 动态规划 3.0学时 林姝
第1节 问题描述及背景介绍
第2节 最优性原理
第3节 动态规划问题算法
第4节 应用例子
第十二章 随机优化 3.0学时 林姝
第1节 随机优化介绍
第2节 基于梯度的随机优化
第十三章 复习总结 1.0学时 林姝
第1节 课程内容复习
第十四章 期末考试 3.0学时 林姝
第1节 期末考试

林姝，工学博士，现为中国科学院大学计算机与控制学院副教授、IEEE会员。2011年于荷兰代尔夫特理工大学系统与控制研究中心获得博士学位，2011年至2013年于上海交通大学自动化系从事博士后研究，2013年5月进入中国科学院大学计算机与控制学院工作。研究方向为大规模复杂系统的建模、优化与控制，智能交通系统，交通数据分析，车联网等。主持国家级科研项目4项，省部级和校级项目4项，作为主要参与人参与国家级、省部级或国际合作项目等5项。在国内外控制和智能交通领域顶级期刊和会议上发表学术论文30余篇，担任《IEEE Transactions on Intelligent Transportation Systems》、《IEEE Transactions on Control Systems Technology》、《Transportation Research Part C》等顶级国际期刊的审稿人，担任国际自控联交通系统技术委员会成员（Member of the IFAC Technical Committee on Transportation Systems）。担任中国科学院大学研究生课程《最优控制理论》、《预测控制》和《算法中的最优化方法》的主讲教师。