信息论及其应用

课程编码：180206085410M3010Y 英文名称：Information Theory and Application 课时：40 学分：2.00 课程属性：专业课 主讲教师：肖俊

信息论是一门研究信息的存储、传输和处理中一般规律的学科，其目的是提高信息系统的可靠性、有效性、安全性，以使系统最优。随着信息技术的发展，信息理论在通信领域中发挥越来越重要的作用，同时，信息理论已经渗透到其他相关的自然科学，与电子技术、自动控制、计算机网络以及管理科学、人工智能等学科密切结合，显示出勃勃生机和无限前景。本课程旨在让学生了解信息论的作用、方法与意义，掌握信息论的基本理论和概念，对信息论的研究方法和成果有广泛的基本认识，并学会应用，为进一步研究打下基础。

概率论（或随机过程）

第一章 绪论 肖俊
第1节 香农信息论研究的对象、目的和主要内容 1.0学时
第2节 信息论的形成和发展及其应用成果 1.0学时
第二章 单符号离散信源 肖俊
第1节 信源的数学模型及信源符号的自信量 2.0学时
第2节 信源的信息熵及其性质 2.0学时
第3节 信息熵的最大值 1.0学时
第三章 单符号离散信道 肖俊
第1节 信道的数学模型 1.0学时
第2节 信道的交互信息和条件交互信息量 1.0学时
第3节 平均交互信息量及其性质性质 2.0学时
第4节 信道容量及其一般算法 2.0学时
第5节 无噪声信道的容量和特殊信道的容量 2.0学时
第四章 多符号离散信源与信道 肖俊
第1节 离散平稳信源的数学模型和信息熵 1.0学时
第2节 离散平稳有记忆信源的离散熵和极限熵 1.0学时
第3节 马尔可夫信源 1.0学时
第4节 信源的相关性和剩余度的概念及其计算 1.0学时
第五章 单维连续信源和信道 肖俊
第1节 相对熵与平均交互信息量 1.0学时
第2节 几种单维连续信源的相对熵及其性质 1.0学时
第3节 信息变差和熵功率 1.0学时
第4节 连续熵的变换与平均交互信息量的不变性 1.0学时
第5节 连续信源的信息测量 1.0学时
第6节 连续信道的信道容量 1.0学时
第六章 多维连续信源与信道 肖俊
第1节 随机过程的离散化 0.5学时
第2节 多维连续信源的熵 1.0学时
第3节 多维熵的性质及其变换 0.5学时
第七章 无失真信源编码 肖俊
第1节 单义可译码、非延长码及其构成 1.0学时
第2节 单义可译码定理 1.0学时
第3节 平均码长的界限定理 1.0学时
第4节 无失真信源编码定理 1.0学时
第5节 经典信源编码方法 1.0学时
第八章 抗干扰信道编码 肖俊
第1节 译码规则及其选择准则 1.0学时
第2节 信道编码的编码原则 1.0学时
第3节 抗干扰信道编码定理 1.0学时
第4节 分组码及线性分组码 2.0学时
第九章 信息率失真函数和限失真信源编码 肖俊
第1节 信息率失真函数及其特性 1.0学时
第2节 限失真信源编码定理的基本理论 1.0学时
第十章 网络信息理论 肖俊
第1节 反馈信道 0.5学时
第2节 相关信源编码定理 0.5学时

肖俊，教授，博士生导师，中国人工智能教育联席会常务理事，中国自动化学会模式识别与机器智能专业委员会委员、中国图象图形学学会青年工作委员会委员。主要从事图形图像处理及其应用研究，包括计算机视觉、三维精准建模、多媒体内容安全等方向，主持了国家重点研发计划课题、中国科学院前沿科学重点研究项目、国家自然科学基金项目、北京市科技计划怀柔科学城科技创新课题等科研项目20余项。发表学术论文80余篇，并出版专著1部。曾获得中国科学院院长奖、教育部-IBM高校合作项目优秀教师奖、钢结构协会科学技术奖一等奖等奖励。入选中国科学院青年创新促进会优秀会员和北京市科技新星。