人工智能基础数学理论和算法

课程编码：180234081200P1010H 英文名称：Foundational Mathematics and Algorithms for Artificial Intelligence 课时：60 学分：3.00 课程属性：学科核心课 主讲教师：韩丛英等

本课程是交叉学院人工智能方向的学科核心课，教学目的在于帮助学生掌握人工智能领域常用的基础数学理论和算法方法，建立从数学概念到模型算法的系统认知。通过课程学习，学生应能够理解高维数据的矩阵表示方式，掌握矩阵代数在数据建模、特征变换、低秩表示和梯度计算中的基本作用；理解概率论在不确定性建模、参数估计、信息度量和生成式模型中的基础地位；掌握最优化方法在人工智能模型训练、参数更新、约束建模和算法求解中的核心作用。具体要求包括：第一，学生应掌握线性空间、矩阵范数、矩阵分解、矩阵微积分、张量基础等矩阵代数知识，能够从高维几何和数值计算角度理解人工智能模型中的数据表示和模型计算问题。第二，学生应掌握随机向量、多元高斯分布、分布变换、最大似然估计、最大后验估计、熵、交叉熵和KL散度等概率论与信息论基础，能够理解概率建模和损失函数设计的基本思想。第三，学生应掌握凸优化基础、梯度下降、随机梯度下降、加速方法、自适应优化算法、牛顿法、KKT条件和增广拉格朗日法等优化理论与算法，能够理解人工智能模型训练过程中的优化机制。第四，学生应能够结合典型人工智能案例，将数学理论应用于深度学习训练、反向传播、度量学习、生成式模型、大模型加速和约束优化等实际问题中，具备进一步学习和研究人工智能算法的数学分析能力。

《线性代数》、《微积分》、《概率论与数理统计》

第一章 矩阵代数——矩阵与线形变换
第1节 1.1 数据矩阵与向量空间 2学时 韩丛英
第2节 1.2 四个基本子空间与正交性 2学时 韩丛英
第3节 1.3 线性变换、特征映射与核方法 2学时 韩丛英
第4节 1.4 投影矩阵与最小二乘的几何解释 2学时 韩丛英
第二章 矩阵代数--范数理论与正则化
第1节 2.1 向量范数与稀疏性 1学时 李伯男
第2节 2.2 矩阵范数 2学时 李伯男
第3节 2.3 内积空间、余弦相似度 2学时 李伯男
第4节 2.4 案例：深度学习中的度量学习 1学时 李伯男
第三章 矩阵代数--矩阵分解
第1节 3.1 特征值分解 1学时 李伯男
第2节 3.2 奇异值分解 2学时 李伯男
第3节 3.3 低秩逼近 2学时 李伯男
第4节 3.4 案例：大模型训练中的加速方法 1学时 李伯男
第四章 矩阵代数--矩阵微积分与反向传播
第1节 4.1 多元微分与Jacobian矩阵 1学时 李伯男
第2节 4.2 标量、向量对矩阵的求导法则 1学时 李伯男
第3节 4.3 迹函数与行列式的微分技巧 2学时 李伯男
第4节 4.4 链式法则原理 1学时 李伯男
第5节 4.5 案例：深度学习中的反向传播算法 1学时 李伯男
第五章 矩阵代数--特殊运算与张量基础
第1节 5.1 Kronecker积和Hadamard积 1学时 李伯男
第2节 5.2 广义逆矩阵与最小二乘解 1学时 李伯男
第3节 5.3 张量的基本定义 1学时 李伯男
第4节 5.4 案例：矩阵计算的Python实现 1学时 李伯男
第六章 概率论--多元随机变量与高斯分布
第1节 1.1 随机向量与统计特征 1学时 李伯男
第2节 1.2 多元高斯分布 1学时 李伯男
第3节 1.3 分布变换 1学时 李伯男
第七章 概率论--参数估计与信息论基础
第1节 2.1 参数估计框架 1学时 李伯男
第2节 2.2 信息论与损失函数 1学时 李伯男
第3节 2.3 案例：生成式模型中的相关算法 1学时 李伯男
第八章 最优化方法--优化视角下的AI模型
第1节 1.1 优化问题的直观理解 1学时 李伯男
第2节 1.2 凸集与凸函数基础 1学时 李伯男
第3节 1.3 全局最优和局部最优 1学时 李伯男
第4节 1.4 案例：分类及回归的模型与算法 1学时 李伯男
第九章 最优化方法--一阶算法
第1节 2.1 梯度下降法 2学时 李伯男
第2节 2.2 随机梯度下降 2学时 李伯男
第3节 2.3 加速方法 2学时 李伯男
第4节 2.4 自适应算法 2学时 李伯男
第5节 2.5 案例：深度学习中的训练相关算法 2学时 李伯男
第十章 最优化方法--二阶算法
第1节 3.1 牛顿法与海森矩阵 1学时 韩丛英
第2节 3.2 曲率信息与收敛速度 2学时 韩丛英
第3节 3.3 案例：自然策略梯度 1学时 韩丛英
第十一章 最优化方法--约束优化与对偶理论
第1节 4.1 拉格朗日乘子法 1学时 韩丛英
第2节 4.2 KKT条件与对偶理论 1学时 韩丛英
第3节 4.3 增广拉格朗日法 2学时 韩丛英
第4节 4.4 案例：深度学习中的约束优化问题 2学时 李伯男

韩丛英，女，中国科学院大学教授，长聘教授，博士生导师，中国科学院大数据挖掘与知识管理重点实验室大数据模型与算法研究室副主任，中国运筹学会常务理事、数学与智能分会的秘书长，中国运筹学会数学规划分会、图论组合分会常务理事。主持国家自然科学基金重点项目，科技部“数学和应用”重点专项课题，在AAAI、NeurIPS、CVPR、ICML，IEEE Transactions on Neural Networks and Learning Systems、Neural Networks等重要会议和期刊上发表人工智能相关的学术论文多篇。2022年获得中国运筹学会科学技术奖运筹应用奖（排名第1），2017年获得国际运筹学会联合会（IFORS）运筹进展奖二等奖（排名第2），有与本课程相关的丰富研究基础。在国科大给研究生讲授核心课程，专业普及课程等多门，所授课程《现代智能优化方法》获校级优秀课程，教学经验丰富。