深度学习理论与实践
课程编码：180206085410P2005Y-01
英文名称：Deep Learning Theory and Practice
课时：40
学分：2.00
课程属性：专业核心课
主讲教师：姜海勇
教学目的要求
近年来，人工智能取得了突破性的进展，其研究成果不仅广泛应用于人脸识别、智慧城市、无人驾驶等前沿领域，同时在医学影像分析、药物研制、物理模拟等多学科交叉领域也取得了令人惊叹的效果，而这些突破很大程度都是来自于深度学习的发展。
本课程将主要讲授和讨论深度学习的主要理论、基本方法与典型应用。希望学生通过本课程的学习能够对最新人工智能应用背后的原理有更深刻的了解和认识，同时具备动手复现相关论文与算法的能力，也期望学生将相关技术应用于自己所在研究领域，开拓更有意义、更有价值的研究与应用。
课程要求学生掌握深度学习的基本原理、典型网络架构、模型训练与设计技巧，并能使用相关理论解决现实世界中的应用问题。
预修课程
线性代数、概率论、数据结构、Python语言（用于课程项目）、机器学习（非必须）
大纲内容
第一章 引言 4学时 姜海勇
第1节 深度学习的广泛应用
第2节 深度学习的发展历程
第3节 深度学习兴起的缘由
第4节 与相关学科的关联与区别
第5节 课程内容概要与大纲
第二章 基础知识回顾 2学时 姜海勇
第1节 数学基础
第2节 机器学习
第三章 深度学习的基础模块 4学时 姜海勇
第1节 来自神经元的启发
第2节 多层感知机
第3节 激活函数
第4节 梯度反传
第5节 随机梯度
第6节 深度网络的表达能力
第7节 典型案例：MINST数字识别
第四章 深度学习的训练 6学时 姜海勇
第1节 过拟合、欠拟合、梯度爆炸、梯度消失
第2节 网络优化之参数初始化
第3节 网络优化之学习率的影响
第4节 网络优化之优化器选择
第5节 网络正则化之参数惩罚
第6节 网络正则化之数据扩充
第7节 网络正则化之特征分布
第8节 网络正则化之其他方法
第9节 深度学习框架简要介绍
第五章 面向规则网格结构数据的深度学习设计 5学时 姜海勇
第1节 规则网格数据及其结构特点
第2节 卷积操作
第3节 池化操作
第4节 典型的网络结构
第5节 面向更加复杂的输出结构的网络设计
第六章 面向序列数据的深度学习设计 3学时 姜海勇
第1节 序列数据及其特点
第2节 循环单元
第3节 双向循环单元
第4节 长短时记忆网络
第5节 典型应用
第七章 面向图结构数据的深度学习设计 2学时 姜海勇
第1节 图结构数据及其特点
第2节 图卷积操作
第3节 谱卷积操作
第4节 典型应用
第八章 X is all you need 4学时 姜海勇
第1节 关于不同模型的思考
第2节 注意力机制
第3节 变形网络机制
第4节 变形网络在不同数据的广泛应用
第九章 深度生成网络 4学时 姜海勇
第1节 自监督学习
第2节 对抗生成网络
第3节 变分自编码网络
第4节 其他生成模型
第十章 课程项目总结与考核 6学时 姜海勇
第1节 经典课程项目汇报
第2节 课程考核
参考书
1、
Neural Networks and Deep Learning, Dive into Deep Learning, Deep Learning
Michael Nielsen,Mu Li,Goodfellow Ian
2019年12年, 2019年6月, 2017年8月
Determination, Press, 人民邮电出版社
课程教师信息
姜海勇，人工智能学院副教授，博士毕业于中国科学院自动化研究所。目前主要从事三维场景理解与三维建模等相关工作，目前已经在相关领域顶级会议与期刊发表论文多篇。