信息论及其应用

课程编码：085400M01009Y 英文名称：Information Theory and Application 课时：40 学分：2.00 课程属性：一级学科核心课 主讲教师：肖俊

信息论是一门研究信息的存储、传输和处理中一般规律的学科，其目的是提高信息系统的可靠性、有效性、安全性，以使系统最优。随着信息技术的发展，信息理论在通信领域中发挥越来越重要的作用，同时，信息理论已经渗透到其他相关的自然科学，与电子技术、自动控制、计算机网络以及管理科学、人工智能等学科密切结合，显示出勃勃生机和无限前景。本课程旨在让学生了解信息论的作用、方法与意义，掌握信息论的基本理论和概念，对信息论的研究方法和成果有广泛的基本认识，并学会应用，为进一步研究打下基础。

无

第一章 引言 2.0学时
第1节 香农信息论研究的对象、目的和主要内容
第2节 信息论的形成和发展及其应用成果
第3节 香农简介
第二章 单符号离散信源 4.0学时
第1节 单符号离散信源及其数学描述
第2节 信源符号所含信息量的度量
第3节 信源熵
第4节 信息熵的特性
第三章 单符号离散信道 6.0学时
第1节 信道的数学描述
第2节 互信息与平均交互信息
第3节 信道容量的计算方法
第4节 特殊信道的特点及容量计算
第四章 多符号离散信源与信道 3.0学时
第1节 多符号离散信源
第2节 离散平稳信源及其熵
第3节 多符号离散信道及其特点
第4节 多符号离散信道的容量
第五章 单维连续信源与信道 4.0学时
第1节 相对熵及平均交互信息量
第2节 典型信源的相对熵及其性质
第3节 具有最大相对熵的连续信源
第4节 连续信道的信道容量
第5节 高斯加性信道
第六章 多维连续信源与信道 2.0学时
第1节 多维连续信源及其熵
第2节 多维信道
第3节 高斯白噪声
第七章 无失真信源编码 5.0学时
第1节 信源编码的基本概念
第2节 信源编码定理
第3节 典型的信源编码方法
第八章 抗干扰信道编码 5.0学时
第1节 信道编码的基本分类
第2节 信道编码的性能评价
第3节 编码定理及其意义
第4节 典型的信道编码方法
第九章 限失真信源编码 3.0学时
第1节 失真的度量及保真度准则
第2节 信息率失真函数
第3节 限失真信源编码定理及其逆定理
第4节 常用熵压缩编码方法
第5节 香农三大定理的比较
第十章 网络信息理论基础 2.0学时
第1节 信息理论在通信网中的应用
第2节 相关信源编码定理
第3节 边信息理论的应用
第十一章 课堂考试 4.0学时
第1节 课堂考试

肖俊，教授，博士生导师，中国人工智能教育联席会常务理事，中国自动化学会模式识别与机器智能专业委员会委员、中国图象图形学学会青年工作委员会委员。主要从事图形图像处理及其应用研究，包括计算机视觉、三维精准建模、多媒体内容安全等方向，主持了国家重点研发计划课题、中国科学院前沿科学重点研究项目、国家自然科学基金项目、北京市科技计划怀柔科学城科技创新课题等科研项目20余项。发表学术论文80余篇，并出版专著1部。曾获得中国科学院院长奖、教育部-IBM高校合作项目优秀教师奖、钢结构协会科学技术奖一等奖等奖励。入选中国科学院青年创新促进会优秀会员和北京市科技新星。