多媒体技术

课程编码：480177085404P3018 英文名称：Multimedia Proceessing 课时：40 学分：2.00 课程属性：专业课 主讲教师：朱林卫

本课程为计算机专业硕士研究生的专业普及课。本课程系统地介绍多媒体的基本概念、理论基础及其发展方向，采取理论与实践相结合的教学方式，以培养研究生独立研究与开发多媒体的能力为主。要求学生：1. 掌握多媒体计算机技术的基础和基本技能。2.了解开发多媒体应用的程序设计或著作工具使用等有关技术。3.了解多媒体领域的研究热点与最新进展。

机器学习，数据挖掘，自然语言处理

第一章 多媒体技术综述 朱林卫
第1节 课程概述 3.0学时
第二章 多媒体数据表示 朱林卫
第1节 第1节 多媒体信号获取和数字化 1.0学时
第2节 第2节 多媒体数据表示和质量评估方法 1.0学时
第3节 第3节 数据压缩基本概念 1.0学时
第三章 多媒体数据压缩 朱林卫
第1节 第1节 图像与视频数据压缩技术：预测编码、变换编码、量化、熵编码 1.0学时
第2节 第2节 主要国际图像与视频压缩标准和技术 1.0学时
第3节 第3节 音频数据压缩技术 1.0学时
第四章 多媒体特征提取--手工特征 朱林卫
第1节 第1节 全局手工特征提取 1.0学时
第2节 第2节 局部手工特征提取 1.0学时
第3节 第3节 手工特征与深度学习特征的联系 1.0学时
第五章 多媒体特征提取--深度学习特征 朱林卫
第1节 第1节 深度学习概述 1.0学时
第2节 第2节 卷积神经网络基础和代表性网络结构 1.0学时
第3节 第3节 循环神经网络基础和网络结构改进 1.0学时
第六章 多媒体应用中的多模态融合 朱林卫
第1节 多媒体计算的背景和挑战 1.0学时
第2节 决策融合方法，特征融合方法，动态融合方法 1.0学时
第3节 代表应用案例分析 1.0学时
第七章 多媒体应用中的迁移学习 朱林卫
第1节 迁移学习基础知识 1.0学时
第2节 基于实例、特征、模型、关系的方法与分析 1.0学时
第3节 代表应用案例分析 1.0学时
第八章 多媒体应用中的模型可视化 朱林卫
第1节 可视化的必要性和意义 1.0学时
第2节 可视化特征图、卷积核、特征空间的代表性方法 1.0学时
第3节 代表应用案例分析 1.0学时
第九章 多媒体应用中的模型压缩 朱林卫
第1节 模型压缩的研究背景 1.0学时
第2节 网络剪枝，参数量化，网络结构优化 1.0学时
第3节 知识蒸馏 1.0学时
第十章 多媒体内容生成--单模态内容生成 朱林卫
第1节 基于对抗生成网络的多媒体内容生成 1.0学时
第2节 基于流模型的多媒体内容生成 1.0学时
第3节 基于扩散模型的多媒体内容生成 1.0学时
第十一章 多媒体内容生成--跨模态内容生成 朱林卫
第1节 跨模态内容生成概述 1.0学时
第2节 基于跨模态预训练模型的多媒体内容生成 1.0学时
第3节 代表性应用案例分析 1.0学时
第十二章 课程设计答辩（一） 朱林卫
第1节 课程设计答辩 2.0学时
第2节 技术点评 1.0学时
第十三章 课程设计答辩（二） 朱林卫
第1节 课程设计答辩 2.0学时
第2节 技术点评与课程总结 2.0学时

朱林卫，中国科学院深圳先进技术研究院副研究员，中国科学院大学硕士生导师。曾连续2次获得“香港城市大学研究生杰出学术成就奖”。长期从事多媒体信号处理、视频编码和机器/深度学习等方面的研究，主持承担国家自然科学基金青年科学基金项目、中国博士后科学基金特别资助项目、中国博士后科学基金面上项目和广东省自然科学基金面上项目等项目，以唯一第一作者在多媒体领域顶级期刊发表学术论文11篇，包括IEEE T-IP(1×)、IEEE T-MM(1×)、IEEE T-CSVT(2×)、IEEE T-BC(2×)、ACM TOMM(1×)、JVCIR(2×)、SP-IC(1×)、MTA(1×)等期刊；以共同通讯作者在IEEE T-MM发表学术论文1篇；以第二作者在IEEE T-IP(1×)、CSUR(1×)、ACM MM(1×)期刊和会议共发表学术论文3篇；以第一或第二发明人授权发明专利10件（含美国发明专利2件）。