自然语言处理基础

课程编码：1802030839X2P2002H 英文名称：Fundamentals of Natural Language Processing 课时：60 学分：3.00 课程属性：专业核心课 主讲教师：胡玥等

本课程为信息内容处理方向研究生的专业核心课。本课程主要系统的讲授深度学习框架下自然语言处理基础性概念、方法、理论和当前自然语言处理新技术。课程的目的及任务是：使学生通过本课程的学习，掌握统计自然语言处理的理论和方法，了解领域前沿动态，为今后在相关领域开展研究工作打下基础。

《深度学习》、《Python程序设计》

第一章 绪论 2学时 胡玥
第1节 自然语言处理概述
第2节 自然语言处理发展历史及学派
第3节 自然语言处理体系框架
第二章 语料库与语言知识库 1学时 胡玥
第1节 语料库概述
第2节 典型语料库资源
第三章 深度学习基础 9学时 胡玥
第1节 前馈神经网络
第2节 卷积神经网络
第3节 图卷积神经网络
第4节 循环神经网络
第四章 语言模型与词向量 6学时 胡玥
第1节 统计语言模型
第2节 神经网络语言模型
第3节 词向量
第五章 NLP中的注意力机制 3学时 胡玥
第1节 传统注意力机制
第2节 注意力编码机制
第六章 NLP基础任务 9学时 胡玥
第1节 文本分类
第2节 文本匹配
第3节 序列标注
第4节 序列生成
第七章 预训练语言模型 6学时 胡玥
第1节 预训练语言模型概述
第2节 典型的预训练语言模型
第3节 预训练，精调范式（NLP第三范式）
第4节 预训练，提示，预测范式（NLP第四范式）
第5节 大语言模型ChatGPT
第八章 神经机器翻译 3学时 胡玥
第1节 典型神经机器翻译模型
第2节 神经机器翻译模型改进
第3节 神经机器翻译语料资源
第九章 情感分析 3学时 曹亚男
第1节 情感分类
第2节 属性级情感分类
第十章 信息抽取 6学时 曹亚男
第1节 实体识别与抽取
第2节 实体消歧
第3节 关系抽取
第4节 事件抽取
第十一章 文本摘要 3学时 曹亚男
第1节 文本摘要概述
第2节 抽取式文本摘要
第3节 生成式文本摘要
第十二章 智能问答 9学时 曹亚男
第1节 问答系统
第2节 机器阅读理解
第3节 多轮对话

胡玥，中国科学院信息工程研究所研究员/博士生导师，中国科学院大学网络空间安全学院岗位教授/博士生导师，信工所学位委员会委员，主要研究方向为自然语言处理，包括机器翻译、 智能对话、机器阅读理解等。 在ACL，AAAI 、EMNLP、COLING、 ICLR等国际/国内会议及期刊发表论文100余篇，曾获“第四届中国科协期刊优秀学术论文”奖，出版专著2部，获发明专利8项，主持和参加科技部重点研发项目，网络空间安全重点专项，国家863课题，973子课题，自然科学基金项目等20余项。在中国科学院大学开设研究生核心课程《自然语言处理》和设博士生课程《基于深度学习的自然语言处理》，其中，《自然语言处理》课程被评为中国科学院大学校级优秀课程，获中国科学院朱李月华优秀教师奖。指导的研究生曾获ACL杰出论文奖，华为天才少年，多人获国家奖学金和北京市优秀毕业生等荣誉称号。；曹亚男，中国科学院信息工程研究所研究员，博士生导师，国家重点研发计划青年科学家项目首席科学家。研究方向为信息内容安全，包括自然语言处理、社会媒体分析等。入选2016年度中国科学院信息工程研究所青年之星、2018年度中国科学院青年创新促进会、2021年度国科大优秀岗位教师、2022年度中科院优秀导师；获2017年度百度之星第一名、2020年度PAKDD唯一最佳论文奖、2022年度CCL新闻脉络分析评测第一名；获2022年度中国电子学会科技进步二等奖。迄今在WWW、AAAI、ICDM、CIKM等CCF-A/B类会议和期刊上发表50余篇学术论文，连续多年任ACL、COLING领域委员，AAAI、IJCAI高级程序委员会委员，是TKDE、TOIS等国际期刊的审稿人。先后主持包括国家重点研发计划项目、国家自然科学基金、国防预先研究项目、国家信息安全专项在内的20余项国家级和省部级科研项目，具有丰富的科研经验和项目经验。在国科大主讲《自然语言处理》、《自然语言处理实战》、《深度学习与自然语言处理》一系列课程。