深度学习与自然语言处理

课程编码：1802030839X2P0001H-2 英文名称：Deep Learning for Natural Language Processing 课时：20 学分：1.00 课程属性：高级强化课 主讲教师：曹亚男等

本课程是为网络空间安全和计算机学科硕士研究生设立的高级强化课。通过本课程的学习, 希望学生除了掌握基本方法和应用技巧之外, 对深度学习及自然语言处理的发展脉络和研究趋势也有所了解, 为进一步从事专业研究打下坚实的基础。

机器学习

第一章 深度学习与自然语言处理概述
第1节 自然语言处理概述 0.5学时 曹亚男
第2节 机器学习四大要素 1学时 曹亚男
第3节 深度学习基础知识 1学时 曹亚男
第4节 基于深度学习的自然语言处理应用概述 0.5学时 曹亚男
第二章 神经网络语言模型
第1节 词表示方法 0.5学时 曹亚男
第2节 统计语言模型 0.5学时 曹亚男
第3节 神经网络语言模型 0.5学时 方芳
第4节 词表示方法应用与对比 0.5学时 方芳
第三章 循环神经网络
第1节 循环神经网络模型基础知识 0.5学时 方芳
第2节 循环神经网络激活单元详解 0.5学时 方芳
第3节 双向循环神经网络 0.5学时 方芳
第4节 编解码模型框架 0.5学时 方芳
第四章 自然语言处理中的注意力机制
第1节 编解码模型中的注意力机制 0.5学时 方芳
第2节 全局和局部注意力机制 0.5学时 方芳
第3节 内部和外部注意力机制 0.5学时 方芳
第4节 Transformer详解 1.5学时 方芳
第五章 预训练语言模型1：基础预训练模型
第1节 ELMO详解 0.5学时 方芳
第2节 BERT详解 0.5学时 方芳
第3节 GPT详解 1学时 方芳
第六章 预训练语言模型2：过去、现在和未来
第1节 迁移学习与预训练模型 1学时 方芳
第2节 预训练模型家族详解 1.5学时 方芳
第3节 预训练模型的未来方向 0.5学时 方芳
第七章 提示学习范式：预训练、提示学习和预测
第1节 自然语言处理范式概述 0.5学时 方芳
第2节 提示学习基础概念 0.5学时 方芳
第3节 提示学习方法详解 1学时 方芳
第4节 ChatGPT方法详解 1学时 方芳
第八章 基于大模型的自然语言处理应用实例
第1节 基于大模型的自然语言处理任务范式 0.5学时 方芳
第2节 基于大模型的自然语言理解任务 0.5学时 方芳
第3节 基于大模型的自然语言生成任务 1学时 方芳

曹亚男，中国科学院信息工程研究所研究员、博士生导师，国家重点研发青年科学家项目首席，近五年发表CCF-A/CCF-B类论文50余篇，承担国家级和省部级项目10余项。入选中国科学院青促会，曾被评为中国科学院优秀导师、中国科学院朱李月华优秀教师、获中国科学院大学领雁银奖，获中国电子学会科学技术二等奖。

方芳，中国科学院信息工程研究所副研究员、硕士生导师，近五年发表CCF-A/CCF-B类论文10余篇，承担省部级项目10余项。