课程大纲

课程大纲

多媒体技术

课程编码:081203M05008H 英文名称:Multimedia Technology 课时:40 学分:2.00 课程属性:专业普及课 主讲教师:曹娟等

教学目的要求
本课程为计算机专业硕士研究生的专业普及课。本课程系统地介绍多媒体的基本概念、理论基础及其发展方向,采取理论与实践相结合的教学方式,以培养研究生独立研究与开发多媒体的能力为主。要求学生:1. 掌握多媒体计算机技术的基础和基本技能。2.了解开发多媒体应用的程序设计或著作工具使用等有关技术。3.了解多媒体领域的研究热点与最新进展。

预修课程
机器学习,数据挖掘,自然语言处理

大纲内容
第一章 多媒体技术综述
第1节 多媒体技术概念与应用 1.0学时
第2节 发展历程和趋势 1.0学时
第3节 多媒体内容生成与伪造检测 1.0学时
第二章 多媒体数据表示
第1节 多媒体信号获取和数字化 1.0学时
第2节 多媒体数据表示和质量评估方法 1.0学时
第3节 数据压缩基本概念 1.0学时
第三章 多媒体数据压缩
第1节 图像与视频数据压缩技术:预测编码、变换编码、量化、熵编码 1.0学时
第2节 主要国际图像与视频压缩标准和技术 1.0学时
第3节 音频数据压缩技术 1.0学时
第四章 多媒体特征提取--手工特征
第1节 全局手工特征提取 1.0学时
第2节 局部手工特征提取 1.0学时
第3节 手工特征与深度学习特征的联系 1.0学时
第五章 多媒体特征提取--深度学习特征
第1节 深度学习概述 1.0学时
第2节 卷积神经网络基础和代表性网络结构 1.0学时
第3节 循环神经网络基础和网络结构改进 1.0学时
第六章 多媒体应用中的多模态融合
第1节 多媒体计算的背景和挑战 1.0学时
第2节 决策融合方法,特征融合方法,动态融合方法 1.0学时
第3节 代表应用案例分析 1.0学时
第七章 多媒体应用中的迁移学习
第1节 迁移学习基础知识 1.0学时
第2节 基于实例、特征、模型、关系的方法与分析 1.0学时
第3节 代表性应用案例分析 1.0学时
第八章 多媒体应用中的模型可视化
第1节 可视化的必要性和意义 1.0学时
第2节 可视化特征图、卷积核、特征空间的代表性方法 1.0学时
第3节 代表性应用案例分析 1.0学时
第九章 多媒体应用中的模型压缩
第1节 模型压缩的研究背景 1.0学时
第2节 网络剪枝,参数量化,网络结构优化 1.0学时
第3节 知识蒸馏 1.0学时
第十章 多媒体内容生成--单模态内容生成
第1节 基于对抗生成网络的多媒体内容生成 1.0学时
第2节 基于流模型的多媒体内容生成 1.0学时
第3节 基于扩散模型的多媒体内容生成 1.0学时
第十一章 多媒体内容生成--跨模态内容生成
第1节 跨模态内容生成概述 1.0学时
第2节 基于跨模态预训练模型的多媒体内容生成 1.0学时
第3节 代表性应用案例分析 1.0学时
第十二章 课程设计答辩
第1节 课程设计答辩 4.0学时
第2节 技术点评 3.0学时

参考书
1、 多媒体技术:计算、通信及应用 Ralf Steinmetz; Klara Nahrstedt 著;潘志庚、叶绿、耿卫东、林海等译 2000 清华大学出版社

课程教师信息
曹娟,博士,中科院计算所博士生导师,中国科学院大学岗位教授。计算所跨媒体计算课题组负责人。中科院“青年创新促进会”人才计划首批成员,中科院计算所“学术百星计划”成员。2008年博士毕业于中科院计算所,主要研究方向为大规模社会多媒体内容挖掘与应用。2009年在香港城市大学VIREO视频检索研究组进行三个月的合作研究;2010年在美国哥伦比亚大学DVMM数字视频与多媒体挖掘实验室进行一年的合作研究。曾获得2008和2009TRECVID国际视频检索评测第一名和第二名, 2015MediaEval国际虚假图片检测评测第一名。在MM,SIGIR,WWW,TMM,TCSVT等顶级国际会议和期刊上发表论文50余篇。承担了科技部和基金委的多项重点项目,获得2014年度北京市科学技术奖一等奖和2012年度中国计算机学会科学技术奖,相关成果已应用在新华社互联网新闻认证系统和新华百科知识库系统中。

唐帆,博士,中国科学院计算技术研究所副研究员。2019年毕业于中国科学院自动化研究所模式识别国家重点实验室,2017年~2018年赴德国康斯坦茨大学联合培养一年。主要从事图形图像理解、多媒体内容合成与分析研究,2015年刷新PASCAL VOC图像分类项目最好成绩,获得ECCV2018图像分割比赛冠军,作为项目负责人或者要完成人主持/参与国自然青年基金、CCF青年学者科学基金及多个国自然重点、国家重点研发计划,已在IEEE TVCG、TIP、TMM、CVPR、ICCV、ACM SIGGRAPH等顶级期刊、会议发表高水平论文三十余篇,已授权国家发明专利四项。