模式识别与机器学习

课程编码：081201M04003H-1 英文名称：Pattern Recognition and Machine Learning 课时：60 学分：3.00 课程属性：专业核心课 主讲教师：黄庆明等

本课程为计算机应用技术专业硕士研究生的专业核心课，同时也可作为计算机其它专业及电子、自动化等学科研究生的专业普及课。模式识别是研究用机器代替人去识别、辨识客观事物的学科,而机器学习则研究如何构造算法从数据中学习或对数据做出预测。二者均具有系统的理论和方法,并有着千丝万缕的联系，也都在近年来得到了广泛的应用，成为人工智能领域最热门的学科方向之一。本课程将讲述模式识别与机器学习的基本概念、基本理论和方法、关键算法原理以及典型应用情况。预期通过理论讲授与应用案例分析，为本学科研究生今后从事相关方向的深入研究打下坚实的理论基础，为其他学科的研究生应用相关方法和技术提供理论和实践指导。要求学生不仅能够切实掌握本课程的基本理论和方法，并能在解决实际问题时灵活应用所学知识。

线性代数，概率论与数理统计，多元统计分析，最优化方法。

第一章 概述 3学时 黄庆明
第1节 课程主要内容和规划
第2节 模式识别的基本概念
第3节 模式识别简史和应用
第4节 模式识别的方法
第5节 模式识别系统
第6节 相关数学基础
第二章 统计判别 3学时 黄庆明
第1节 贝叶斯判别准则
第2节 最小风险判别
第3节 正态分布模式的贝叶斯分类器
第4节 均值向量和协方差矩阵的参数估计
第三章 判别函数 6学时 黄庆明
第1节 线性判别函数
第2节 广义线性判别函数
第3节 分段线性判别函数
第4节 模式空间和权空间
第5节 Fisher线性判别
第6节 感知器算法
第7节 多模式分类
第8节 迭代训练算法
第9节 势函数法
第10节 决策树
第四章 特征选择和提取 3学时 黄庆明
第1节 模式类别可分性
第2节 特征选择
第3节 K-L变换
第五章 统计学习理论基础 3学时 常虹
第1节 机器学习简史和应用
第2节 机器学习任务分类
第3节 参数学习
第4节 过拟合
第5节 偏差方差分析
第6节 正则化方法和泛化理论分析
第六章 监督学习 3学时 常虹
第1节 线性回归模型
第2节 判别式分类模型和逻辑回归
第3节 生成式分类模型和贝叶斯模型
第七章 支持向量机 6学时 常虹
第1节 支持向量机基础理论
第2节 拉格朗日乘子法和对偶问题
第3节 线性支持向量机
第4节 软间隔的支持向量机
第5节 核方法支持向量机
第6节 支持向量回归
第7节 SMO求解方法
第八章 聚类 3学时 郭嘉丰
第1节 无监督学习与有监督学习对比
第2节 距离计算
第3节 聚类算法的评价方法
第4节 经典聚类方法
第九章 降维 3学时
第1节 维度的选择和抽取
第2节 线性降维
第3节 非线性降维和流形模型
第十章 半监督学习 3学时 郭嘉丰
第1节 自我训练
第2节 多视角学习
第3节 生成模型
第4节 S3VMs
第5节 基于图的算法
第6节 半监督聚类
第十一章 概率图模型 3学时 郭嘉丰
第1节 有向概率图模型
第2节 无向概率图模型
第3节 学习和推断
第4节 典型的概率图模型
第十二章 集成学习 3学时 山世光
第1节 机器学习中的哲学思想
第2节 分类器设计中的重采样技术
第3节 模型性能评估
第十三章 深度学习及应用 12学时 山世光
第1节 人工神经网络的生物原型
第2节 生物视觉系统简介
第3节 卷积神经网络CNN源起与概述
第4节 典型卷积神经网络结构
第5节 循环神经网络
第6节 反向传播算法介绍
第7节 深度模型训练技巧
第8节 深度模型应用
第9节 深度学习未来发展趋势
第十四章 课程复习 3学时 常虹
第1节 课程复习
第十五章 期末考试 3学时 郭嘉丰
第1节 期末考试

首席教授：
1.黄庆明，
中国科学院大学计算机科学与技术学院副院长、网络空间安全学院副院长（兼），教授（二级）、博士生导师，中国科学院计算技术研究所客座研究员、博士生导师，中国科学院信息工程研究所客座研究员、博士生导师。国家杰出青年科学基金获得者，百千万人才工程国家级人选并被授予“有突出贡献中青年专家”荣誉称号，享受国务院政府特殊津贴。现为IEEE Fellow，IEEE CASS北京分会主席，CCF会士，CCF多媒体技术专业委员会副主任，北京市图象图形学学会副理事长。
主要研究方向为模式识别、多媒体计算、图像与视频分析、计算机视觉、机器学习等，主持承担了国家自然科学基金（杰青、重点、国际合作）、863课题、973课题、中科院前沿科学重点研究项目等10多项国家和省部级项目的研究工作，在国内外权威期刊和重要国际会议上发表学术论文400余篇，申请国内外发明专利30余项，相关研究成果多次获得省部级奖励。自2004年起先后讲授了“模式识别”、“模式识别在图像与视频分析中的应用”、“模式识别与机器学习”、“视觉信息学习与分析”等课程。

一班主讲教师：
2.山世光，
中国科学院计算技术研究所研究员，博士生导师，现任中科院智能信息处理重点实验室常务副主任，国家自然科学基金优秀青年基金获得者，第三批国家万人计划入选者，科技部创新人才推进计划中青年科技创新领军人才，人社部国家百千万人才工程有突出贡献中青年专家，CCF青年科学家奖获得者。主要研究领域为计算机视觉和机器学习。已在国内外刊物和学术会议上发表论文300余篇，其中CCF A类论文70余篇，论文被谷歌学术引用14000余次。曾应邀担任过ICCV11，ACCV12/16/18，ICPR12/14，FG13/18，ICASSP14，BTAS18，CVPR19等十余次领域主流国际会议的领域主席，现/曾任IEEE TIP, CVIU, PRL, Neurocomputing, FCS等国际学术刊物的编委(AE)。研究成果获2005年度国家科技进步二等奖，2015年度国家自然科学二等奖，CVPR2008 Best Student Poster Award Runner-up奖。他带领团队研发的人脸识别技术已应用于公安部门、华为等众多产品或系统（包括华为P20，V10，Mate20等手机）中，取得了良好的经济和社会效益。
3.郭嘉丰，
中国科学院计算技术研究所研究员，博士生导师，现任中科院网络数据科学与技术重点实验室副主任，中国科学院大学岗位教授，国家自然科学基金优秀青年基金获得者，中科院青年促进会优秀会员。长期从事信息检索与数据挖掘方向的基础研究，研究方向包括用户查询理解、排序学习、文本建模、深度学习检索等。在本领域国际重要学术会议与期刊上发表学术论文100余篇（如TKDE、SIGIR、AAAI、CIKM等），Google Scholar累计引用3600余次，获得ACM CIKM 2011最佳论文奖，ACM SIGIR 2012最佳学生论文奖，ACM CIKM 2017最佳论文Runner-up奖。担任本领域国际重要学术期刊ACM TOIS、Information Retrieval Journal的编委以及主要国际会议的程序委员会高级评审委员、委员等，获得ACM CIKM 2017杰出评审委员。研究形成的相关成果应用于工信部、安全部等业务单位以及今日头条、搜狗等互联网公司，获得2012年国家科技进步二等奖、2011年中国电子学会科技进步奖一等奖、2012年中国中文信息学会 “钱伟长中文信息处理科学技术奖——汉王青年创新奖”一等奖。自2016年起讲授 “模式识别与机器学习”、“机器学习导论”等课程。
4.常虹，
中国科学院计算技术研究所副研究员，博士生导师。2006年毕业于香港科技大学，获得计算机科学专业博士学位，曾经在施乐欧洲研究中心任研究员，2008年加入计算所。主要研究方向包括机器学习、计算机视觉、模式识别方面的应用基础研究，在相关领域发表论文60+篇，其中包括机器学习和计算机视觉领域的顶级国际会议（ICML、NIPS、IJCAI、AAAI、ICCV、CVPR）论文近20+篇，Google Scholar引用4500+次。从2012年开始，先后主讲计算技术研究所核心课程《机器学习》；作为主讲之一参与研究生课程《模式识别与机器学习》的教学工作；此外曾在本科生的专业必修课《概率论和数理统计》中主讲部分章节。

二班主讲教师：
5.苏荔，
中国科学院大学计算机科学与技术学院，副教授，硕士生导师，中国计算机学会(CCF)多媒体专委会委员，中国图象图形学学会(CSIG)多媒体专委会委员，中国数字音视频编解码技术标准(AVS)工作组成员。主要研究方向为数字图像与视频处理、多媒体计算、模式识别等。作为项目负责人或子课题负责人承担了国家自然科学基金面上项目、应急项目、青年项目，作为研究骨干参与了国家973课题、国家自然科学基金重点项目等多项国家和省部级项目的研究。第一作者论文曾获国际光学通讯学会(SPIE) VCIP会议最佳论文奖，入选微软“铸星计划”学者等。自2009年起先后主讲了我校“数字图像处理”、“模式识别”、“多媒体技术”、“图像处理与计算机视觉”等研究生专业课程。
6.李国荣，
中国科学院大学计算机科学与技术学院，副教授，硕士生导师，中国科学院青促会会员。主要研究方向为图像与视频分析、多媒体内容分析与检索、模式识别等，已在CVPR、ECCV、ICCV、AAAI、ICDM、ACM Multimedia等相关国际权威会议和期刊上发表论文40余篇。作为项目负责人或研究骨干，参与了包括国家973课题、国家自然基金重点项目、国家自然科学基金国际合作；作为项目负责人，承担了国家自然基金面上和青年项目、中国博士后基金特等多项国家和省部级项目的研究。

三班主讲教师：
7.卿来云，
中国科学院大学计算机科学与技术学院，副教授，硕士生导师。2005年7月在中国科学院研究生院获计算机软件与理论博士学位，自2005年起先后讲授了“机器学习”、“机器学习及案例分析”、“数据压缩”、“图像处理与计算机视觉”以及“模式识别与机器学习”等研究生专业课程。主要研究方向是机器学习、计算机视觉、图像/视频分析与理解，承担多个国家自然科学基金项目和国家863项目，共在包括IEEE Transactions、CVPR、ICCV在内的国内外刊物和会议上发表论文70多篇。