信息与信号处理理论

课程编码：180080070105P3001H 英文名称：Theory of Information and Signal Processing 课时：40 学分：2.00 课程属性：专业课 主讲教师：邵明杰

本课程面向数学专业研究生，系统讲授信息与信号处理中的核心数学理论。课程以Hilbert空间、正交投影、傅里叶分析、概率测度、凸分析与信息度量为主要工具，重点学习线性时不变系统与卷积、傅里叶级数与傅里叶变换、离散傅里叶分析、采样定理、相关函数与功率谱、参数估计、Wiener滤波与Kalman滤波、熵与互信息、信源编码、信道容量、率失真理论、互信息泛化界以及稀疏恢复等内容。课程突出定理的精确表述、适用条件和证明方法，要求学生能够独立完成主要结论的推导，理解正交投影、对偶性、凸性、典型集、随机编码和限制等距等证明思想，并据此阅读信息论、信号处理和机器学习理论方向的研究文献。对于偏工程实现而非理论主线的内容，如复杂滤波器设计细节、频谱估计方法和算法实现技巧，仅作必要说明或不作展开。

数学分析、线性代数、概率论与数理统计；建议具备实变函数、泛函分析或复变函数基础

第一章 导论、信号空间与正交投影 2.0学时 邵明杰
第1节 信号的函数空间模型：L²、ℓ²与有限维酉空间
第2节 内积、范数、正交性及Cauchy-Schwarz不等式
第3节 闭子空间上的正交投影定理及其证明
第4节 Bessel不等式、Parseval恒等式与最佳逼近
第二章 线性时不变系统与卷积 2.0学时 邵明杰
第1节 线性、时不变、因果性与有界输入有界输出稳定性
第2节 由冲激分解推导LTI系统的卷积表示
第3节 卷积的交换律、结合律、分配律及严格推导
第4节 Young不等式、稳定性判据与复指数特征函数
第三章 傅里叶级数与傅里叶变换 4.0学时 邵明杰
第1节 正交函数系、傅里叶系数与L²意义下的收敛
第2节 Dirichlet收敛定理、Bessel不等式与Parseval恒等式
第3节 傅里叶变换、逆变换及平移、调制、尺度和微分性质的证明
第4节 Plancherel定理、卷积定理、乘积定理与Fourier反演证明框架
第四章 离散时间傅里叶变换与离散傅里叶变换 3.0学时 邵明杰
第1节 DTFT的定义、周期性、收敛条件及基本性质
第2节 DFT作为有限维酉变换：正交性、逆变换与Parseval恒等式
第3节 循环卷积定理及循环矩阵的傅里叶对角化
第4节 线性卷积与循环卷积的关系及零填充条件
第五章 采样定理 4.0学时 邵明杰
第1节 带限函数空间、理想采样与冲激串的频域表示
第2节 Poisson求和公式与频谱周期复制
第3节 Shannon-Nyquist采样定理的严格推导与唯一性
第4节 sinc插值、正交基性质、混叠及临界采样率
第六章 滤波理论基础 2.0学时 邵明杰
第1节 LTI滤波、频率响应与传递函数
第2节 z变换、收敛域及有理系统表示
第3节 极点零点结构与因果稳定性判据
第4节 FIR/IIR系统的核心性质及稳定性证明
第七章 相关函数与功率谱分析 2.0学时 邵明杰
第1节 二阶随机过程、宽平稳性与自相关函数
第2节 自相关函数的Hermitian对称性与半正定性
第3节 Wiener-Khinchin定理及证明
第4节 功率谱的非负性与LTI系统的谱变换公式
第八章 参数估计理论 2.0学时 邵明杰
第1节 统计模型、估计量、偏差、方差与均方误差
第2节 最大似然估计与最大后验估计
第3节 Fisher信息的性质与参数变换
第4节 Cramér-Rao下界的正则条件、证明及等号条件
第九章 最小均方估计与Wiener滤波 2.0学时 邵明杰
第1节 随机变量Hilbert空间与条件期望的投影刻画
第2节 MMSE估计、LMMSE估计与正交性原理
第3节 正规方程与Wiener-Hopf方程
第4节 平稳过程频域Wiener滤波器的推导
第十章 Kalman滤波 2.0学时 邵明杰
第1节 线性高斯状态空间模型与递归Bayes估计
第2节 高斯条件分布公式及其证明
第3节 预测、创新、更新与误差协方差递推
第4节 Kalman增益的最优性与Riccati递推
第十一章 信息论基础：熵、散度与互信息 4.0学时 邵明杰
第1节 熵、联合熵、条件熵及链式法则
第2节 Log-sum不等式、Gibbs不等式与KL散度非负性
第3节 互信息的等价表示、凸性与条件互信息
第4节 数据处理不等式、Fano不等式及其证明
第十二章 无失真信源编码 2.0学时 邵明杰
第1节 前缀码、唯一可译码与码树表示
第2节 Kraft-McMillan不等式的必要性与充分性证明
第3节 平均码长的熵下界与Huffman编码最优性
第4节 典型集方法与无失真信源编码定理证明框架
第十三章 信道容量与信道编码 3.0学时 邵明杰
第1节 离散无记忆信道、互信息与容量优化
第2节 互信息关于输入分布的凹性及BSC、BEC容量推导
第3节 信道编码定理的逆定理：Fano不等式方法
第4节 随机编码证明思路与AWGN信道容量推导
第十四章 率失真理论 2.0学时 邵明杰
第1节 失真测度、率失真函数及其变分定义
第2节 率失真函数的单调性、凸性与连续性
第3节 率失真定理的逆定理与可达性证明框架
第4节 高斯信源平方误差率失真函数的证明
第十五章 互信息与机器学习泛化误差 2.0学时 邵明杰
第1节 经验风险、期望风险与算法输出的随机化模型
第2节 Donsker-Varadhan变分公式与sub-Gaussian换测度不等式
第3节 基于互信息的期望泛化界及完整推导
第4节 界的适用条件、局限性与交叉熵的统计解释
第十六章 稀疏表示与压缩感知 2.0学时 邵明杰
第1节 稀疏模型、欠定线性系统与ℓ₀/ℓ₁恢复
第2节 零空间性质：ℓ₁精确恢复的充要条件及证明
第3节 互相干性与限制等距性质的恢复条件
第4节 带噪稳定恢复定理的证明框架与采样复杂度

略