多媒体技术

课程编码：180086085404P3018H 英文名称：Multimedia Proceessing 课时：40 学分：2.00 课程属性：专业课 主讲教师：曹娟等

本课程为计算机专业硕士研究生的专业普及课。本课程系统地介绍多媒体的基本概念、理论基础及其发展方向，采取理论与实践相结合的教学方式，以培养研究生独立研究与开发多媒体的能力为主。要求学生：1. 掌握多媒体计算机技术的基础和基本技能。2.了解开发多媒体应用的程序设计或著作工具使用等有关技术。3.了解多媒体领域的研究热点与最新进展。

机器学习，数据挖掘，自然语言处理

第一章 多媒体技术综述
第1节 课程概述 3学时 曹娟
第二章 多媒体数据表示
第1节 第1节 多媒体信号获取和数字化 1学时 唐帆
第2节 第2节 多媒体数据表示和质量评估方法 1学时 唐帆
第3节 第3节 数据压缩基本概念 1学时 唐帆
第三章 多媒体数据压缩
第1节 第1节 图像与视频数据压缩技术：预测编码、变换编码、量化、熵编码 1学时 唐帆
第2节 第2节 主要国际图像与视频压缩标准和技术 1学时 唐帆
第3节 第3节 音频数据压缩技术 1学时 唐帆
第四章 多媒体特征提取--手工特征
第1节 第1节 全局手工特征提取 1学时 唐帆
第2节 第2节 局部手工特征提取 1学时 唐帆
第3节 第3节 手工特征与深度学习特征的联系 1学时 唐帆
第五章 多媒体特征提取--深度学习特征
第1节 第1节 深度学习概述 1学时 唐帆
第2节 第2节 卷积神经网络基础和代表性网络结构 1学时 唐帆
第3节 第3节 循环神经网络基础和网络结构改进 1学时 唐帆
第六章 多媒体应用中的多模态融合
第1节 多媒体计算的背景和挑战 1学时 曹娟
第2节 决策融合方法，特征融合方法，动态融合方法 1学时 曹娟
第3节 代表应用案例分析 1学时 曹娟
第七章 多媒体应用中的迁移学习
第1节 迁移学习基础知识 1学时 曹娟
第2节 基于实例、特征、模型、关系的方法与分析 1学时 曹娟
第3节 代表应用案例分析 1学时 曹娟
第八章 多媒体应用中的模型可视化
第1节 可视化的必要性和意义 1学时 曹娟
第2节 可视化特征图、卷积核、特征空间的代表性方法 1学时 曹娟
第3节 代表应用案例分析 1学时 曹娟
第九章 多媒体应用中的模型压缩
第1节 模型压缩的研究背景 1学时 曹娟
第2节 网络剪枝，参数量化，网络结构优化 1学时 曹娟
第3节 知识蒸馏 1学时 曹娟
第十章 多媒体内容生成--单模态内容生成
第1节 基于对抗生成网络的多媒体内容生成 1学时 唐帆
第2节 基于流模型的多媒体内容生成 1学时 唐帆
第3节 基于扩散模型的多媒体内容生成 1学时 唐帆
第十一章 多媒体内容生成--跨模态内容生成
第1节 跨模态内容生成概述 1学时 唐帆
第2节 基于跨模态预训练模型的多媒体内容生成 1学时 唐帆
第3节 代表性应用案例分析 1学时 唐帆
第十二章 课程设计答辩（一）
第1节 课程设计答辩 2学时 唐帆
第2节 技术点评 1学时 曹娟
第十三章 课程设计答辩（二）
第1节 课程设计答辩 2学时 曹娟
第2节 技术点评与课程总结 2学时 曹娟

曹娟，博士，中科院计算所博士生导师，中国科学院大学岗位教授。计算所跨媒体计算课题组负责人。中科院“青年创新促进会”人才计划首批成员，中科院计算所“学术百星计划”成员。2008年博士毕业于中科院计算所，主要研究方向为大规模社会多媒体内容挖掘与应用。2009年在香港城市大学VIREO视频检索研究组进行三个月的合作研究；2010年在美国哥伦比亚大学DVMM数字视频与多媒体挖掘实验室进行一年的合作研究。曾获得2008和2009TRECVID国际视频检索评测第一名和第二名， 2015MediaEval国际虚假图片检测评测第一名。在MM，SIGIR，WWW，TMM，TCSVT等顶级国际会议和期刊上发表论文50余篇。承担了科技部和基金委的多项重点项目，获得2014年度北京市科学技术奖一等奖和2012年度中国计算机学会科学技术奖，相关成果已应用在新华社互联网新闻认证系统和新华百科知识库系统中。

唐帆，博士，中国科学院计算技术研究所副研究员。2019年毕业于中国科学院自动化研究所模式识别国家重点实验室，2017年～2018年赴德国康斯坦茨大学联合培养一年。主要从事图形图像理解、多媒体内容合成与分析研究，2015年刷新PASCAL VOC图像分类项目最好成绩，获得ECCV2018图像分割比赛冠军，作为项目负责人或者要完成人主持/参与国自然青年基金、CCF青年学者科学基金及多个国自然重点、国家重点研发计划，已在IEEE TVCG、TIP、TMM、CVPR、ICCV、ACM SIGGRAPH等顶级期刊、会议发表高水平论文三十余篇，已授权国家发明专利四项。