通用大模型原理及训练实践
课程编码：081203M07007H
英文名称：Principles and Training Practice of Large Models
课时：20
学分：1.00
课程属性：高级强化课
主讲教师：冯洋
教学目的要求
掌握以chatGPT为代表的通用大模型原理以及自动指令构建方法，并基于小规模指令数据动手完成通用大模型的指令微调
预修课程
自然语言处理
大纲内容
第一章 大语言模型 4.5学时
第1节 大语言模型发展历程
第2节 大语言模型原理介绍
第3节 大语言模型使用方式
第二章 通用大模型ChatGPT 6学时
第1节 ChatGPT发展历程
第2节 ChatGPT关键技术
第3节 ChatGPT能力解析
第三章 如何构建自己的通用大模型 8学时
第1节 已有资源
第2节 指令构建
第3节 有监督的指令微调
第4节 性能测试
第四章 通用大模型展望 1.5学时
第1节 通用大模型的局限与挑战
第2节 通用大模型的发展趋势
参考书
课程教师信息
冯洋，中科院计算技术研究所研究员、博士生导师、自然语言处理团队负责人、中国人工智能学会首批杰出会员，主要研究方向为自然语言处理、机器翻译和人机对话。担任中文信息学会青年工作委员会副主任、ARR Permanent Senior Action Editor以及ACL/EMNLP会议高级领域主席/领域主席等。机器翻译方面的工作获得ACL 2019唯一最佳长文奖，为ACL开办50多年来国内首次获得该奖项，并获CCF自然语言处理专委会 “青年新锐奖”、 “钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等