深度学习

课程编码：180086081203P3007H-2 英文名称：Deep Learning 课时：40 学分：2.00 课程属性：专业课 主讲教师：张新峰

本课程是计算机应用技术、计算机软件与理论、软件工程等专业研究生的专业普及课。本课程讲授和讨论深度学习的基本理论和关键技术，主要内容有卷积神经网络、循环神经网络、Transformer、生成对抗网络、深度生成模型、正则化与优化以及深度学习框架。课程注重深度学习实践能力的锻炼和培养，通过引入多个深度学习课程实验，提升同学们的动手能力。通过本课程的学习，希望相关专业研究生能够掌握深度学习的基本理论和关键技术，提高基于深度学习技术进行科学研究与应用开发的能力。

计算机算法设计与分析、模式识别与机器学习

第一章 引言 3.0学时 张新峰
第1节 深度学习的起源与发展
第2节 深度学习与机器学习、人工智能的关系
第3节 深度学习的基本概念和典型算法
第4节 深度学习的主要应用概述
第二章 卷积神经网络 8.0学时 张新峰
第1节 卷积神经网络的起源与发展
第2节 卷积神经网络基本结构
第3节 卷积神经网络的训练
第4节 典型卷积神经网络
第5节 卷积神经网络的主要应用
第三章 循环神经网络 5.0学时 张新峰
第1节 循环神经网络的起源与发展
第2节 循环神经网络
第3节 长短时记忆网络
第4节 循环神经网络的变种
第5节 循环神经网络的典型应用
第四章 Transformer 7.0学时 张新峰
第1节 注意力机制
第2节 Transformer
第3节 GPT系列模型
第4节 BERT系列模型
第5节 Swin Transformer
第6节 Transformer的主要应用
第五章 生成对抗网络 6.0学时 张新峰
第1节 产生背景
第2节 GAN基本原理
第3节 GAN的优化与改进
第4节 GAN的主要应用
第六章 深度生成模型 4.0学时 张新峰
第1节 深度生成模型概述
第2节 自编码器及其变种
第3节 Hopfield神经网络
第4节 玻尔兹曼机与受限玻尔兹曼机
第5节 深度信念网络
第七章 正则化与优化 5.0学时 张新峰
第1节 深度学习模型的训练与测试
第2节 参数范数正则化
第3节 数据增强
第4节 Bagging
第5节 提前终止
第6节 Dropout
第7节 归一化
第8节 优化算法
第八章 深度学习框架 2.0学时 张新峰
第1节 深度学习框架概述
第2节 TensorFlow
第3节 PyTorch
第4节 飞桨

徐俊刚，中国科学院大学计算机科学与技术学院教授，博士生导师，从事大数据、机器学习和深度学习研究；张新峰，计算机科学与技术学院副教授，博士生导师，从事视频编码和处理研究；万方，计算机科学与技术学院长聘教轨助理教授，博士生导师，主要从事计算机视觉研究。