多媒体生成及其信息挖掘

课程编码：180203085412P3004Y 英文名称：Multimedia Generation and Mining 课时：40 学分：2.00 课程属性：专业课 主讲教师：曹纭

在人工智能不断发展的基础上，多媒体生成技术得到了快速提高，它一方面有利于媒体制作等应用需求，但另一方面也引发了深度伪造等一系列内容安全问题。为了使网络空间安全等相关专业的研究生理解多媒体生成技术的机理与方法，掌握多媒体鉴伪等内容安全基本知识与技能，本课程讲授多媒体生成与异常信息挖掘等方面的知识与应用技术，主要内容包括视觉与听觉内容智能生成方法、多模态内容智能生成以及对生成内容的异常信息挖掘与识别取证技术。通过本课程的学习，要求学生掌握多媒体生成与异常信息挖掘的基本知识与技能，了解这些领域的前沿发展情况，初步具备相关的研究与应用能力。

数字信号处理，机器学习/模式识别

第一章 绪言 3.0学时 曹纭
第1节 多媒体生成及其信息挖掘概念
第2节 多媒体生成的安全危害
第3节 相关理论与技术的发展
第二章 视觉对象增加及其信息挖掘 6.0学时 曹纭
第1节 对象复制移动与异源拼贴
第2节 对象复制移动信息挖掘与检测
第3节 对象异源拼贴信息挖掘与检测
第4节 对象拼贴及其信息挖掘实验
第三章 视觉对象删除及其信息挖掘 3.0学时 曹纭
第1节 图像对象删除与修补
第2节 视频对象删除与修补
第3节 对象删除信息挖掘与检测
第四章 帧编辑及其信息挖掘 3.0学时 曹纭
第1节 视音频帧插入删除
第2节 视频帧编辑信息挖掘与检测
第3节 音频帧编辑信息挖掘与检测
第五章 图像深度生成及其信息挖掘 6.0学时 曹纭
第1节 图像深度合成
第2节 图像深度转换
第3节 图像深度生成信息挖掘与检测
第4节 图像深度生成及其信息挖掘实验
第六章 视频深度生成及其信息挖掘 6.0学时 曹纭
第1节 DeepFake视频换脸
第2节 人像视频语音驱动与表情操控
第3节 视频假脸信息挖掘与检测
第4节 视频换脸及其信息挖掘实验
第七章 语音深度生成及其信息挖掘 6.0学时 曹纭
第1节 语音深度合成
第2节 语音深度转换
第3节 语音深度生成信息挖掘与检测
第4节 语音深度合成及其信息挖掘实验
第八章 多媒体生成内容素材信息溯源 3.0学时 曹纭
第1节 统计检测存在的不确定性问题
第2节 图像伪造素材信息溯源
第3节 视频伪造素材信息溯源
第九章 课程总结与考试 4.0学时 曹纭
第1节 图像生成及其信息挖掘复习
第2节 视音频生成及其信息挖掘复习
第3节 课程考试

曹纭：中国科学院信息工程研究所副研究员，博导，主要研究方向为视频信息隐藏与多媒体取证，在IEEE TIFS等本领域重要刊物和会议上发表论文30余篇。曾主持和参与国家重点研发计划课题、国家自然科学基金委项目、中科院战略性先导科技专项等20多个国家和省部级科研项目，研究成果取得了重要工作绩效。获中国科学院“朱李月华优秀教师”奖等荣誉。