课程大纲

课程大纲

人工智能的数学基础

课程编码:081104M05013H 英文名称:Mathematics Foundation in Artificial Intelligence 课时:50 学分:2.00 课程属性:专业普及课 主讲教师:王丽瑾

教学目的要求
本课程为模式识别与智能系统、控制科学与工程、计算机科学、软件工程、信息安全、电子信息、管理科学、应用数学等学科研究生的专业普及课。本课程主要讲述矩阵代数和最优化计算法等人工智能的数学基础,以及矩阵分析、子空间分析、机器学习中的优化模型、一阶求解算法和二阶求解算法及其收敛性理论。通过本课程的学习,希望学生对常用的矩阵代数和最优化计算法有初步的了解,掌握机器学习优化模型的建立方法以及求解这些优化模型的算法设计思路、算法收敛性结果的证明方法,了解机器学习中优化方法的最新研究成果和前沿研究动态,加深学生对机器学习理论方法的理解。
课程基本要求:
1.要求保质保量完成作业。作业涉及算法设计、程序实现,每次题目2-4题,完成作业时间约3-4小时。作业在最后评分中占比约30-40%。
2.课程结束布置大作业,综合的算法设计,分析与对比。大约需要一个周时间内完成。
3.最后课堂考试。

预修课程
高等数学,线性代数,概率论与数理统计

大纲内容
第一章 矩阵代数基础 8学时 王丽瑾
第1节 1.1 向量、矩阵、向量空间、线性映射与Hilbert空间
第2节 1.2 内积与范数
第3节 1.3 逆矩阵与伪逆矩阵
第4节 1.4 矩阵的直和与Hadamard积
第5节 1.5 Kronecker积与Khatri-Rao积
第6节 1.6 向量化与矩阵化
第7节 1.7 数据表示(稀疏向量与稀疏表示、稀疏编码、压缩感知等)
第二章 矩阵分析 8学时 王丽瑾
第1节 2.1 特殊矩阵
第2节 2.2 奇异值分析
第3节 2.4特征分析
第4节 2.5子空间分析
第三章 最优化基础 4学时 王丽瑾
第1节 3.1优化方法的数学基础
第2节 3.2 无约束最优化问题的一阶和二阶必要性条件和二阶充分性条件
第3节 3.3 最优化方法的基本结构和算法收敛速度
第4节 3.4 精确一维搜索和不精确一维搜索法及其收敛性
第四章 牛顿法、共轭梯度法 8学时 王丽瑾
第1节 4.1 最速下降法
第2节 4.2 牛顿法、牛顿法的变形和不精确牛顿法
第3节 4.3 共轭梯度方向和共轭梯度算法
第4节 4.4 拟牛顿法和稀疏拟牛顿法
第5节 4.5 有限记忆的拟牛顿法
第6节 4.6 约束优化基础内容
第五章 机器学习中的优化模型和一阶求解算法 12学时 王丽瑾
第1节 5.1 经验风险、结构风险及其一般优化模型
第2节 5.2 优化算法的一般框架
第3节 5.3 一阶优化算法及其理论分析
第4节 5.4 方差缩减技术
第5节 5.5 对角矩阵修正技术
第6节 5.6 其它重要算法
第六章 机器学习的二阶优化算法
第1节 6.1 优化算法中迭代方向选取方法 2学时 王丽瑾
第2节 6.2 优化算法中自适应步长选取方法 2学时 王丽瑾
第3节 6.3 优化算法中随机样本量的选取方法,随机ADMM介绍 4学时 王丽瑾
第七章 课堂考试 2学时 王丽瑾
第1节 课堂考试

参考书

课程教师信息
课程首席教授王丽瑾是数学科学学院教授,个人信息网址:https://people.ucas.ac.cn/~ljwang。