学习最优化方法

课程编码：180080070105M2003H 英文名称：Learning Optimization Method 课时：60 学分：3.00 课程属性：专业核心课 主讲教师：韩丛英

本课程为数学学科各专业博士、硕士研究生的运筹学与控制论专业的核心课，同时也可作为系统科学、计算数学专业、计算机相关专业研究生的选修课。随着人工智能技术的发展，产生了一系列求解各类优化问题的学习类方法。本课程主要内容涉及利用人工智能方法求解各类优化问题，包括遗传算法、模拟退火算法、蚁群算法及粒子群算法以及动态环境下的进化算法等、神经网络算法，结合最新的中英文文献，给出求解整数线性规划以及NP-hard等问题的机器学习求解方法。研究这些算法的产生和发展、算法的基本思想和理论以及相关算法和变形，给出一定算例和实际应用案例。让学生对学习优化方法的实质和框架有所了解，为进一步发展求解优化问题的新方法打下良好的基础。

高等数学、运筹学、计算机语言

第一章 绪论 1.0学时 韩丛英
第1节 学习最优化的概念
第2节 学习最优化的特点与基本类型
第3节 传统优化方法与学习最优化方法
第4节 搜索算法引例
第二章 优化简介 1.0学时 韩丛英
第1节 无约束优化、约束优化、多目标优化、多峰优化和组合优化
第2节 爬山法
第3节 智能理解与实现方法介绍
第三章 遗传算法 1.0学时 韩丛英
第1节 伪随机数产生
第2节 遗传学与遗传算法的历史
第3节 一个简单的二进制遗传算法
第4节 简单的连续遗传算法
第四章 遗传算法的数学理论 4.0学时 韩丛英
第1节 图式理论
第2节 马尔可夫链
第3节 进化算法的马尔可夫模型的符号
第4节 遗传算法的马尔可夫模型
第5节 遗传算法的动态系统模型
第五章 进化规划 2.0学时 韩丛英
第1节 连续进化规划
第2节 有限状态机优化
第3节 离散进化规划
第4节 囚徒困境
第5节 人工蚂蚁问题
第六章 进化策略 2.0学时 韩丛英
第1节 1+1进化策略
第2节 1/5规则：推导
第3节 （μ+1）进化策略
第4节 （μ+λ）和（μ，λ）进化策略
第5节 自身自适应进化策略
第七章 遗传算法的变种 4.0学时 韩丛英
第1节 初始化
第2节 收敛准则
第3节 用格雷编码表示问题
第4节 精英
第5节 稳态与代际算法
第6节 种群多样性
第7节 选择方案
第8节 重组
第9节 变异
第八章 模拟退火 4.0学时 韩丛英
第1节 模拟退火算法的基本思想
第2节 简单的模拟是退火算法（SA）
第3节 SA的收敛性分析
第4节 冷却调度
第5节 实施的问题
第九章 蚁群优化 4.0学时 韩丛英
第1节 蚁群算法的思想起源及研究进展
第2节 基本蚁群算法原理及其复杂度分析
第3节 蚂蚁系统
第4节 蚁群算法的收敛性
第5节 蚁群算法的参数选择原则与改进
第十章 粒子群优化 3.0学时 韩丛英
第1节 基本粒子群优化算法
第2节 速度限制
第3节 惯性权重与压缩系数及粒子群优化的稳定性
第4节 全局速度更新
第5节 完全之情粒子群
第6节 从错误中学习
第十一章 分布估计算法 2.0学时 韩丛英
第1节 分布估计算法基本概念
第2节 一阶分布估计算法
第3节 二阶分布估计算法
第4节 多元分布估计算法
第5节 连续分布估计算法
第十二章 反向学习 2.0学时 韩丛英
第1节 反向的定义和概念
第2节 反向进化算法
第3节 反向概率与跳变比
第4节 反向组合优化
第5节 对偶学习
第十三章 其他进化算法 2.0学时 韩丛英
第1节 禁忌搜索
第2节 人工鱼群算法
第3节 其他算法
第十四章 适应度函数 2.0学时 韩丛英
第1节 昂贵适应度函数
第2节 动态适应度函数
第3节 有噪声适应度函数
第十五章 进化学习方法求解组合优化案例 4.0学时 韩丛英
第1节 旅行商问题介绍
第2节 旅行商问题的初始化
第3节 旅行商问题的表示与交叉
第4节 旅行商问题的变异
第5节 旅行商问题的进化算法
第6节 图着色问题
第十六章 进化学习方法求解多目标优化 2.0学时 韩丛英
第1节 帕累托最优性
第2节 多目标优化的目标
第3节 基于非帕累托的进化算法
第4节 基于帕累托进化算法
第十七章 神经网络介绍 1.0学时 韩丛英
第1节 人工神经网络的研究溯源
第2节 人工神经网络的基本原理
第3节 MCP模型及感知器
第4节 多层感知器（MLP）
第十八章 BP神经网络 4.0学时 韩丛英
第1节 BP网络的模型
第2节 BP网络的学习算法
第3节 BP网络的功能与数学本质
第4节 BP网络的问题与改进
第5节 BP网络的设计
第十九章 径向基神经网络 1.0学时 韩丛英
第1节 径向基网络的模型
第2节 径向基网络的学习算法
第3节 径向基网络的特性分析
第二十章 反馈式与自组织竞争神经网络 4.0学时 韩丛英
第1节 Elman神经网络
第2节 离散Hopfield神经网络
第3节 连续Hopfield神经网络
第4节 自组织竞争特征映射神经网络（SOM）
第二十一章 循环神经网络 2.0学时 韩丛英
第1节 N-Gram模型
第2节 RNN示例
第3节 单向RNN
第4节 BPTT算法
第5节 填空问题
第6节 双向RNN
第7节 LSTM
第二十二章 深度神经网络 4.0学时 韩丛英
第1节 深度信念网络（DNNs）
第2节 卷积神经网络（CNNs）
第3节 强化学习
第4节 深度强化学习
第二十三章 组合优化的深度学习方法 4.0学时 韩丛英
第1节 基于监督学习的求解方法
第2节 基于深度强化学习的求解方法
第3节 基于图神经网络的求解方法
第二十四章 总结 1.0学时 韩丛英
第1节 学习最优化方法实践注意事项
第2节 没有免费午餐定理及性能测试

略