语音信息处理
课程编码：180206081104P3006H
英文名称：Speech Information Processing
课时：40
学分：2.00
课程属性：专业课
主讲教师：刘斌
教学目的要求
本课程是希望学生能了解本领域研究的历史、现状、趋势和主流技术的理论和方法，掌握语音信息处理的概念、方法、工具和实验技巧，激发学生对该领域的浓厚兴趣，对语音信息处理应用问题能够具有一定的分析与解决能力。
预修课程
《信息论》、《信号与系统》、《模式识别与机器学习》
大纲内容
第一章 语音信息处理概述 3.0学时 刘斌
第1节 内涵与外延
第2节 研究历史
第3节 主要方法
第二章 语音信号处理基础知识 3.0学时 刘斌
第1节 语音发音机理
第2节 听觉感知原理
第3节 语音信号采集
第4节 语音特征分析
第三章 语音信号前端处理 3.0学时 刘斌
第1节 回声消除
第2节 混响抑制
第3节 麦克风阵列与多通道语音增强
第4节 单通道语音增强
第5节 语音分离
第6节 鸡尾酒会问题
第四章 语音识别 9.0学时 刘斌
第1节 语音识别的历史
第2节 语音识别的主要方法
第3节 声学模型（隐马尔科夫模型）
第4节 声学模型（混合高斯模型）
第5节 声学模型（神经网络模型）
第6节 语言模型
第7节 解码方法
第8节 端到端语音识别
第9节 基于大模型的语音识别
第10节 语音识别外延
第五章 语音合成 6.0学时 刘斌
第1节 语音合成研究的历史
第2节 语音合成的主要方法
第3节 文本分析
第4节 声学模型
第5节 声码器
第6节 端到端模型
第7节 基于大模型的语音合成
第8节 语音转换
第9节 可视语音合成
第六章 声纹识别 3.0学时 刘斌
第1节 声纹识别的历史
第2节 声纹识别的主要方法
第3节 声纹识别的反攻击方法
第七章 情感语音 3.0学时 刘斌
第1节 情感的内涵及历史
第2节 语音情感特征
第3节 语音情感识别方法
第4节 情感语音合成方法
第八章 语音信息处理前沿应用 3.0学时 刘斌
第1节 语音测谎与心理健康应用
第2节 脑听觉
第3节 三维音频
第九章 实践与前沿技术讨论 6.0学时 刘斌
第1节 实践与前沿技术讨论
第十章 课程答疑 1.0学时 刘斌
第1节 课程答疑
参考书
1、
语音信号处理
韩纪庆、张磊 、郑铁然
2019年4月
清华大学出版社
2、
听觉信息处理研究前沿
党建武、俞凯等
2019年12月
上海交通大学出版社
3、
语音信号处理
洪弘、陶华伟、薛彪、赵力
2023年6月
清华大学出版社
课程教师信息
刘斌，中国科学院自动化研究所副研究员。主要从事情感计算、语音信号处理、人机交互等研究。2015年毕业于中国科学院自动化研究所，在中国科学院大学获得博士学位，博士毕业后加入中国科学院自动化研究所至今。主持国家自然科学基金面上项目、中科院重点部署项目、国家重点研发计划项目子课题等多个国家重大项目；在国际顶级期刊和会议上发表论文近60篇，授权发明专利近30项；获得2020年到2022年多模态维度情感识别竞赛冠军。