大语言模型技术方法与应用
课程编码：180206081104P4005H
英文名称：Methods and Applications of Large Language Models (MA-LLM)
课时：20
学分：1.00
课程属性：研讨课
主讲教师：张家俊
教学目的要求
本课程是计算机、人工智能等相关专业的专业课程，所介绍的大语言模型技术是人工智能时代最为重要的赋能工具之一。通过本课程的学习，希望学生能够掌握大语言模型的基本思想和关键技术，了解大语言模型在文本数据挖掘领域的应用，从大语言模型角度培养学生在文本数据挖掘领域的分析问题、解决问题的能力。建议学生掌握一定的理论基础知识和编程基础。理论基础知识包括：概率论与数理统计、深度学习和自然语言处理。
预修课程
概率论与数理统计，深度学习，自然语言处理
大纲内容
第一章 绪论与数据预处理 3.0学时 张家俊
第1节 基本概念
第2节 问题与挑战
第3节 基本方法与技术现状
第4节 数据类型介绍
第5节 数据获取方法
第6节 数据预处理
第7节 基础处理工具
第二章 文本表示与预训练模型 3.0学时 张家俊
第1节 背景介绍
第2节 词语表示
第3节 ELMo预训练语言模型
第4节 BERT预训练语言模型
第5节 GPT预训练语言模型
第三章 大语言模型及其应用 3.0学时 张家俊
第1节 大语言模型概述
第2节 大语言模型训练
第3节 大语言模型在文本数据挖掘中的应用
第四章 分组研讨 3.0学时 张家俊
第1节 分组研讨
第五章 分组研讨 3.0学时 张家俊
第1节 分组研讨
第六章 分组研讨 3.0学时 张家俊
第1节 分组研讨
第七章 分组研讨 2.0学时 张家俊
第1节 分组研讨
教材信息
1、
文本数据挖掘（第2版）
宗成庆、夏睿、张家俊
2022年11月
清华大学出版社
参考书
1、
大规模语言模型：从理论到实践
张奇、桂韬、郑锐、黄萱菁
2024年1月
电子工业出版社
2、
Text Data Mining
Chengqing Zong, Rui Xia, Jiajun Zhang
2021年1月
Springer Singapore
课程教师信息
张家俊，中国科学院自动化研究所研究员、中国科学院大学岗位教授、博士生导师，主要研究方向为机器翻译和自然语言处理，承担国家重点研发计划、国家优秀青年科学基金等，入选中国科协首届青年人才托举工程、中国科学院青年创新促进会优秀会员和北京智源青年科学家。发表CCF-A/B类论文90余篇，出版学术专著2部、译著1部。获得中国中文信息学会钱伟长中文信息处理科学技术奖一等奖、青年创新奖一等奖和北京市科学技术奖一等奖等。担任中国中文信息学会理事、青年工作委员会主任和机器翻译专委会副主任。担任ACL/EMNLP/COLING的(资深)领域主席，担任IEEE/ACM T-ASLP、ACM TALLIP和《自动化学报》等期刊的编委。