深度学习与自然语言处理
课程编码：1802030839X2P0001H-2
英文名称：Deep Learning for Natural Language Processing
课时：20
学分：1.00
课程属性：高级强化课
主讲教师：曹亚男等
教学目的要求
本课程是为网络空间安全和计算机学科硕士研究生设立的高级强化课。通过本课程的学习, 希望学生除了掌握基本方法和应用技巧之外, 对深度学习及自然语言处理的发展脉络和研究趋势也有所了解, 为进一步从事专业研究打下坚实的基础。
预修课程
机器学习
大纲内容
第一章 深度学习与自然语言处理概述 3学时 曹亚男
第1节 自然语言处理概述
第2节 机器学习四大要素
第3节 深度学习基础知识
第4节 基于深度学习的自然语言处理应用概述
第二章 神经网络语言模型 2学时 方芳
第1节 词表示方法
第2节 统计语言模型
第3节 神经网络语言模型
第4节 词表示方法应用与对比
第三章 循环神经网络 2学时 方芳
第1节 循环神经网络模型基础知识
第2节 循环神经网络激活单元详解
第3节 双向循环神经网络
第4节 编解码模型框架
第四章 自然语言处理中的注意力机制 3学时 曹亚男
第1节 编解码模型中的注意力机制
第2节 全局和局部注意力机制
第3节 内部和外部注意力机制
第4节 Transformer详解
第五章 预训练语言模型1：基础预训练模型 2学时 曹亚男
第1节 ELMO详解
第2节 BERT详解
第3节 GPT详解
第六章 预训练语言模型2：过去、现在和未来 3学时 曹亚男
第1节 迁移学习与预训练模型
第2节 预训练模型家族详解
第3节 预训练模型的未来方向
第七章 提示学习范式：预训练、提示学习和预测 3学时 曹亚男
第1节 自然语言处理范式概述
第2节 提示学习基础概念
第3节 提示学习方法详解
第4节 ChatGPT方法详解
第八章 基于大模型的自然语言处理应用实例 2学时 曹亚男
第1节 基于大模型的自然语言处理任务范式
第2节 基于大模型的自然语言理解任务
第3节 基于大模型的自然语言生成任务
参考书
课程教师信息
曹亚男，中国科学院信息工程研究所研究员、博士生导师，国家重点研发青年科学家项目首席，近五年发表CCF-A/CCF-B类论文50余篇，承担国家级和省部级项目10余项。入选中国科学院青促会，曾被评为中国科学院优秀导师、中国科学院朱李月华优秀教师、获中国科学院大学领雁银奖，获中国电子学会科学技术二等奖。
方芳，中国科学院信息工程研究所副研究员、硕士生导师，近五年发表CCF-A/CCF-B类论文10余篇，承担省部级项目10余项。