正则化方法
课程编码：1800800711X1D3003Z
英文名称：Regularization Methods
课时：40
学分：2.00
课程属性：专业课
主讲教师：牟必强
教学目的要求
本课程主要介绍介绍正则化方法的理论及其在函数估计、样条光滑和系统辨识等方面的应用。主要内容包括：最小二乘方法及其渐近性质与扰动分析；具有二次形式的正则化方法、稀疏诱导的正则化、核范数正则化等。教学目标是掌握常见的正则化方法，能够根据系统的先验知识设计合适核函数并选取适当的超参数估计方法学习核函数中的超参数。
预修课程
系统估计、时间序列等
大纲内容
第一章 矩阵基础知识 3.0学时 牟必强
第1节 矩阵范数
第2节 矩阵分解
第3节 矩阵伪逆
第二章 正则化最小二乘方法 6.0学时 牟必强
第1节 二次型的正则最小二乘方法
第2节 正则化设计的准则
第三章 正则化方法的贝叶斯解释 6.0学时 牟必强
第1节 高斯型噪声的贝叶斯
第2节 James-Stein估计
第3节 完全/经验贝叶斯方法
第4节 边际似然函数
第5节 极大熵先验
第四章 基于核函数的正则化方法 12.0学时 牟必强
第1节 核函数设计
第2节 超参数估计
第五章 正则化方法的计算实现 5.0学时 牟必强
第1节 病态矩阵的计算
第2节 基于QR分解的实现
第3节 基于卡尔曼滤波的实现
第4节 基于Nyström近似的实现
第5节 计算复杂度分析
第六章 其他正则化方法 5.0学时 牟必强
第1节 稀疏正则化方法
第2节 稀疏贝叶斯学习
第3节 核范数的正则化
第4节 极小秩的正则化
第5节 稀疏网络辨识
第七章 应用 3.0学时 牟必强
第1节 样条光滑
第2节 天气预测
第3节 系统辨识
教材信息
1、
Regularized System Identification - Learning Dynamic Models from Data
Gianluigi Pillonetto; 陈天石; Alessandro Chiuso; Giuseppe De Nicolao; Lennart Ljung
2022年5月
参考书
课程教师信息
略