人工智能的数学基础

课程编码：081104M05013H 英文名称：Mathematics Foundation in Artificial Intelligence 课时：50 学分：2.00 课程属性：专业普及课 主讲教师：郭田德等

本课程为模式识别与智能系统、控制科学与工程、计算机科学、软件工程、信息安全、电子信息、管理科学、应用数学等学科研究生的专业普及课。本课程主要讲述矩阵代数和最优化计算法等人工智能的数学基础，以及矩阵分析、子空间分析、机器学习中的优化模型、一阶求解算法和二阶求解算法及其收敛性理论。通过本课程的学习，希望学生对常用的矩阵代数和最优化计算法有初步的了解，掌握机器学习优化模型的建立方法以及求解这些优化模型的算法设计思路、算法收敛性结果的证明方法，了解机器学习中优化方法的最新研究成果和前沿研究动态，加深学生对机器学习理论方法的理解。
课程基本要求：
1.要求保质保量完成作业。作业涉及算法设计、程序实现，每次题目2-4题，完成作业时间约3-4小时。作业在最后评分中占比约30-40%。
2.课程结束布置大作业，综合的算法设计，分析与对比。大约需要一个周时间内完成。
3.最后课堂考试。

高等数学，线性代数，概率论与数理统计

第一章 矩阵代数基础 8学时 韩丛英
第1节 1.1 向量、矩阵、向量空间、线性映射与Hilbert空间
第2节 1.2 内积与范数
第3节 1.3 逆矩阵与伪逆矩阵
第4节 1.4 矩阵的直和与Hadamard积
第5节 1.5 Kronecker积与Khatri-Rao积
第6节 1.6 向量化与矩阵化
第7节 1.7 数据表示（稀疏向量与稀疏表示、稀疏编码、压缩感知等）
第二章 矩阵分析 8学时 韩丛英
第1节 2.1 特殊矩阵
第2节 2.2 奇异值分析
第3节 2.4特征分析
第4节 2.5子空间分析
第三章 最优化基础 4学时 韩丛英
第1节 3.1优化方法的数学基础
第2节 3.2 无约束最优化问题的一阶和二阶必要性条件和二阶充分性条件
第3节 3.3 最优化方法的基本结构和算法收敛速度
第4节 3.4 精确一维搜索和不精确一维搜索法及其收敛性
第四章 牛顿法、共轭梯度法 8学时 韩丛英
第1节 4.1 最速下降法
第2节 4.2 牛顿法、牛顿法的变形和不精确牛顿法
第3节 4.3 共轭梯度方向和共轭梯度算法
第4节 4.4 拟牛顿法和稀疏拟牛顿法
第5节 4.5 有限记忆的拟牛顿法
第6节 4.6 约束优化基础内容
第五章 机器学习中的优化模型和一阶求解算法 12学时 韩丛英
第1节 5.1 经验风险、结构风险及其一般优化模型
第2节 5.2 优化算法的一般框架
第3节 5.3 一阶优化算法及其理论分析
第4节 5.4 方差缩减技术
第5节 5.5 对角矩阵修正技术
第6节 5.6 其它重要算法
第六章 机器学习的二阶优化算法
第1节 6.1 优化算法中迭代方向选取方法 2学时 韩丛英
第2节 6.2 优化算法中自适应步长选取方法 2学时 郭田德
第3节 6.3 优化算法中随机样本量的选取方法，随机ADMM介绍 4学时 郭田德
第七章 课堂考试 2学时 郭田德
第1节 课堂考试

课程首席教授 郭田德 博士，中国科学院大学长聘教授、二级教授，数学科学学院副院长，中国科学院数学与系统科学研究院优化与应用研究中心副主任、中国科学院大数据挖掘与知识管理重点实验室副主任。主要的研究方向包括最优化的理论与算法、小波分析及其应用、模式识别、机器学习等。近几年在国内外优化领域和信息领域的学术刊物上和会议上发表论文100多篇，申请专利多项，多次在国内外重要学术会议上做大会邀请报告；先后主持了科技部863项目和科技支撑计划项目、基金委面上项目上和重点项目、中国科学院重要方向项目、公安部重点课题等项目。参与了我国公安部指纹识别和指纹压缩多项标准的制定工作，多年从事指纹自动识别算法和指纹自动识别系统的研发工作。分别获得公安部科学技术奖二等奖、北京市科学技术奖三等奖、中国运筹学会科学技术奖一等奖、国际运筹学联合会运筹学发展奖二等奖(IFORS prize for OR in development, Runner-up)。
主讲老师 韩丛英 博士，中国科学院大学，教授。多年来围绕非线性优化、机器学习、模式识别与最优化及大规模数据处理等学术前沿主题开展研究。主持和参加国家自然科学基金面上项目、重点项目、中科院知识创新工程项目等十余项。一直从事指纹识别的研究工作并于2016年获得中国运筹学会科学技术奖运筹应用奖。2017年获得IFORS Prize for OR in Development Runner-up（国际运筹联合会(IFORS)运筹发展奖二等奖），排名第二。2016年获得中国运筹学会科学技术奖运筹应用奖，排名第三。