模式识别与机器学习

课程编码：180086081200P1001H-2 英文名称：Pattern Recognition and Machine Learning 课时：60 学分：3.00 课程属性：学科核心课 主讲教师：黄庆明等

本课程为计算机应用技术专业硕士研究生的专业核心课，同时也可作为计算机其它专业及电子、自动化等学科研究生的专业普及课。模式识别是研究用机器代替人去识别、辨识客观事物的学科,而机器学习则研究如何构造算法从数据中学习或对数据做出预测。二者均具有系统的理论和方法,并有着千丝万缕的联系，也都在近年来得到了广泛的应用，成为人工智能领域最热门的学科方向之一。本课程将讲述模式识别与机器学习的基本概念、基本理论和方法、关键算法原理以及典型应用情况。预期通过理论讲授与应用案例分析，为本学科研究生今后从事相关方向的深入研究打下坚实的理论基础，为其他学科的研究生应用相关方法和技术提供理论和实践指导。要求学生不仅能够切实掌握本课程的基本理论和方法，并能在解决实际问题时灵活应用所学知识。

高等数学，线性代数，概率论与数理统计

第一章 概述 3学时 黄庆明
第1节 课程简介
第2节 模式识别和机器学习的基本概念
第3节 模式识别和机器学习发展简史
第4节 模式识别和机器学习方法
第5节 模式识别和机器学习系统
第6节 模式识别和机器学习应用
第7节 相关数学基础
第二章 生成式分类器 3学时 李国荣
第1节 贝叶斯判别准则
第2节 最小风险判别
第3节 朴素贝叶斯分类器
第4节 概率分布参数估计（极大似然估计和贝叶斯估计）
第5节 正态分布模式的贝叶斯分类器
第6节 正态分布参数估计（均值和协方差矩阵）
第三章 判别式分类器 6学时 李国荣
第1节 判别式分类器 vs. 生成式分类器
第2节 线性判别函数
第3节 广义线性判别函数
第4节 分段线性判别函数
第5节 Fisher线性判别
第6节 感知器算法
第7节 最小平方误差(LMSE)算法
第8节 决策树
第四章 特征提取 3学时 李国荣
第1节 特征选择
第2节 特征变换
第五章 统计学习理论基础 3学时 李国荣
第1节 统计学习框架
第2节 经验风险与期望风险
第3节 测试误差估计
第4节 正则化方法
第5节 偏差—方差分析
第6节 统计学习理论
第六章 线性模型 3学时 李国荣
第1节 线性回归模型
第2节 逻辑回归模型
第七章 支持向量机 3学时 李国荣
第1节 线性支持向量机
第2节 软间隔的支持向量机
第3节 核方法支持向量机
第4节 支持向量回归
第八章 聚类 3学时 李国荣
第1节 无监督学习与有监督学习对比
第2节 距离计算
第3节 聚类算法的评价方法
第4节 经典聚类方法
第九章 降维 3学时 李国荣
第1节 线性降维技术
第2节 全局结构保持降维方法
第3节 局部结构保持降维方法
第十章 半监督学习 5学时 李国荣
第1节 自我训练
第2节 多视角学习
第3节 生成模型
第4节 S3VMs
第5节 基于图的算法
第6节 半监督聚类
第十一章 概率图模型 4学时 李国荣
第1节 有向概率图模型
第2节 无向概率图模型
第3节 学习和推断
第4节 经典概率图模型（HMM&CRF）
第十二章 集成学习 3学时 李国荣
第1节 Bagging和随机森林
第2节 Boosting和GBDT
第十三章 深度学习及应用 12学时 李国荣
第1节 人工神经网络的生物原型
第2节 生物视觉系统简介
第3节 卷积神经网络CNN源起与概述
第4节 典型卷积神经网络结构
第5节 循环神经网络
第6节 反向传播算法介绍
第7节 深度模型训练技巧
第8节 深度模型应用
第9节 深度学习新进展
第十四章 课程复习 3学时 李国荣
第1节 课程复习
第十五章 期末考试 3学时 李国荣
第1节 期末考试

1.黄庆明，中国科学院大学计算机科学与技术学院副院长、网络空间安全学院副院长（兼），教授（二级）、博士生导师，中国科学院计算技术研究所客座研究员、博士生导师，中国科学院信息工程研究所客座研究员、博士生导师。国家杰出青年科学基金获得者，百千万人才工程国家级人选并被授予“有突出贡献中青年专家”荣誉称号，享受国务院政府特殊津贴。现为IEEE Fellow，IEEE CASS北京分会主席，CCF理事，CCF会士，CCF多媒体技术专业委员会副主任，中国图象图形学学会常务理事，北京图象图形学学会副理事长。 主要研究方向为模式识别、多媒体计算、图像与视频分析、计算机视觉、机器学习等，主持承担了国家科技创新2030-”新一代人工智能“重大项目、国家自然科学基金重点项目和重点国际合作项目、863课题、973课题等国家和省部级项目的研究工作，在国内外权威期刊和重要国际会议上发表学术论文500余篇，申请国内外发明专利50余项，相关研究成果多次获得省部级奖励。自2004年起先后讲授了“模式识别”、“模式识别在图像与视频分析中的应用”、“模式识别与机器学习”、“视觉信息学习与分析”等课程。
2.李国荣， 中国科学院大学计算机科学与技术学院，副教授，硕士生导师，中国科学院青促会会员。主要研究方向为图像与视频分析、多媒体内容分析与检索、模式识别等，已在CVPR、ECCV、ICCV、AAAI、ICDM、ACM Multimedia等相关国际权威会议和期刊上发表论文40余篇。作为项目负责人或研究骨干，参与了包括国家973课题、国家自然基金重点项目、国家自然科学基金国际合作；作为项目负责人，承担了国家自然基金面上和青年项目、中国博士后基金特等多项国家和省部级项目的研究。
3. 苏荔，中国科学院大学计算机科学与技术学院，教授，博士生导师，中国计算机学会(CCF)多媒体专委会委员，中国图象图形学学会(CSIG)多媒体专委会委员，中国数字音视频编解码技术标准(AVS)工作组成员。主要研究方向为多媒体计算、模式识别与机器学习等。自2009年起先后主讲了我校“数字图像处理”、“模式识别‘、“模式识别与机器学习”、“多媒体技术”、“图像处理与计算机视觉”等研究生专业课程。