信息论
课程编码：081002M04005H
英文名称：Elements of Information Theory
课时：60
学分：4.00
课程属性：专业核心课
主讲教师：陈德元
教学目的要求
本课程为信息与通信工程学科研究生的学科基础课，同时也可作为信息科学其它学科研究生的选修课。信息论在现代通信中具有广泛的应用，本课程主要内容为信息熵、鉴别信息、鉴别信息原理与应用、信道容量、实用信源编码（包括矢量量化、线性预测编码、变换编码等）、信道编码（如线性编码、卷积码等）、信道的有效利用、率失真函数与率失真编码以及非统计意义下的组合信息、算法信息和通用编码。
通过本课程学习，要求学生掌握信息论在现代通信技术中的基本应用以及信源编码和信道编码的基本技巧，并对信息论的发展有所了解，为进一步学习通信理论和从事专业研究打下基础。
通过本课程学习，要求学生掌握信息论在现代通信技术中的基本应用以及信源编码和信道编码的基本技巧，并对信息论的发展有所了解，为进一步学习通信理论和从事专业研究打下基础。
预修课程
概率论、随机过程、信号与系统
大纲内容
第一章 绪论与概览 4学时 陈德元
第1节 绪论
第2节 概览
第二章 熵、相对熵与互信息 8学时 陈德元
第1节 熵
第2节 联合熵和条件熵
第3节 相对熵与互信息
第4节 熵与互信息的关系
第5节 熵、相对熵与互信息的链式法则
第6节 Jensen不等式及其结果
第7节 对数和不等式应用
第8节 数据处理不等式
第10节 费诺不等式
第三章 渐近均分性 4学时 陈德元
第1节 渐进均分性定理
第2节 AEP的推论：数据压缩
第3节 高概率集与典型集
第四章 随机过程的熵率 4学时 陈德元
第1节 马尔科夫链
第2节 熵率
第3节 例子：加权图上随机游动的熵率
第4节 热力学第二定律
第5节 马尔科夫链的函数
第五章 数据压缩 8学时 陈德元
第1节 有关编码的几个例子
第2节 Kraft不等式
第3节 最优码
第4节 最优码长界
第5节 唯一可译码的Kraft不等式
第6节 Huffman编码
第7节 有关Huffman码的评论
第8节 Huffman码的最优性
第9节 算术编码
第七章 信道容量 8学时 陈德元
第1节 信道容量的几个例子
第2节 对称信道
第3节 信道容量的性质
第4节 信道编码定理预览
第5节 定义
第6节 联合典型序列
第7节 信道编码定理
第11节 汉明码
第12节 反馈容量
第13节 信源信道分离定理
第八章 微分熵 4学时 陈德元
第1节 定义
第2节 连续随机变量的AEP
第3节 微分熵与离散的关系
第4节 联合微分熵与条件微分熵
第5节 相对熵与互信息
第6节 微分熵、相对熵以及互信息的性质
第九章 高斯信道 4学时 陈德元
第1节 高斯信道：定义
第2节 高斯信道编码定理的逆定理
第3节 带宽有限信道
第4节 并联高斯信道
第十章 率失真理论 4学时 陈德元
第1节 量化
第2节 定义
第3节 率失真函数的计算
第7节 率失真函数的特征
第8节 信道容量与率失真函数的计算
第十二章 最大熵 4学时 陈德元
第1节 最大熵分布
第2节 几个例子
第3节 奇异最大熵问题
第4节 谱估计
第5节 高斯过程的熵率
第6节 Burg最大熵定理
第十三章 通用信源编码 4学时 陈德元
第1节 通用码与信道容量
第2节 二元序列的通用编码
第3节 算术编码
第4节 Lempel-Ziv编码
第5节 Lempel-Ziv算法的最优性
第十五章 网络信息论，复习，考试 2学时 陈德元
第1节 高斯多用户信道
第4节 相关信源的编码
第8节 具有边信息的信源编码
第9节 具有边信息的率失真
第10节 复习
第十六章 考试 2学时 陈德元
第1节 考试
参考书
1、
The Theory of Information and Coding (2nd Edition)
R. J. McEliece
2002年1月
New Jersey.Cambridge University Press. England.
课程教师信息
陈德元，博士，中国科学院大学电子电气与通信工程学院副教授、学院党委副书记，长期从事信源编码、信道编码、联合信源信道编码方向的研发与应用工作，在信息论、信道编码、无线通信、高级通信原理等方向开展科研教学等工作。E-mail: chendy@ucas.ac.cn。