课程大纲

课程大纲

深度学习理论

课程编码:070105D05006Z 英文名称:Deep learning theory 课时:40 学分:2.00 课程属性:专业普及课 主讲教师:张世华

教学目的要求
最近十余年,深度学习取得了空前的进步,正逐渐在各种领域诸如计算机视觉、语音识别、自然语言处理、生物信息学等产生广泛应用,并对基础科学领域如应用和计算数学、统计物理、计算化学和材料学、生命科学等产生重大影响。然而,需要注意的是,深度学习作为一种黑箱(black-box)模型,其能力是通过大量实验探索得到的。深度学习理论正逐渐引起研究者们的广泛关注,并取得了多方面的进展。本课程紧密围绕《深度学习理论》的最新系列进展,拟从深度学习理论的多个角度出发,讲授系列基本问题相关的数学模型、理论、算法与数值实验。本课程面向各专业的博士、硕士研究生以及高年级本科生,要求大家具有机器学习和深度学习相关的基础知识。本课程将2/3时间讲授,1/3时间提问、交流和讨论,要求听课学生积极参与到课程中。

预修课程
数学分析、高等代数、数理统计、最优化理论、矩阵论以及机器学习和深度学习基础等

大纲内容
第一章 深度学习理论 40学时 张世华
第1节 深度学习概论
第2节 神经网络的逼近理论
第3节 算法正则化
第4节 算法正则化导致的归纳偏差
第5节 非凸优化的可处理景观
第6节 神经正切核
第7节 多层卷积稀疏编码
第8节 信息瓶颈及其他
第9节 深度神经网络的脆弱性
第10节 神经(常)微分方程
第11节 神经网络学习Wasserstein空间的测地线
第12节 生成模型

参考书
1、

课程教师信息
研究员,主要研究领域:优化,统计,机器学习与生物信息学