通用大模型原理及训练实践

课程编码：180086081200P0005H 英文名称：Principles and Training Practice of Large Models 课时：20 学分：1.00 课程属性：高级强化课 主讲教师：冯洋

掌握以chatGPT为代表的通用大模型原理以及自动指令构建方法，并基于小规模指令数据动手完成通用大模型的指令微调

自然语言处理

第一章 大语言模型 冯洋
第1节 大语言模型发展历程 0.5学时
第2节 大语言模型原理介绍 3.0学时
第3节 大语言模型使用方式 1.0学时
第二章 通用大模型ChatGPT 冯洋
第1节 通用大模型发展历程 1.0学时
第2节 通用大模型关键技术 4.0学时
第3节 通用大模型能力解析 1.0学时
第三章 如何构建通用大模型 冯洋
第1节 已有资源 1.0学时
第2节 指令构建 2.0学时
第3节 有监督的指令微调 4.0学时
第4节 性能测试 1.0学时
第四章 通用大模型展望 冯洋
第1节 通用大模型的局限与挑战 1.0学时
第2节 通用大模型的发展趋势 0.5学时

冯洋，中国科学院院计算技术研究所研究员、博士生导师、自然语言处理团队负责人，入选计算所“新百星人才计划”，主要研究方向为自然语言处理、机器翻译和大语言模型。担任中国中文信息学会青年工作委员会副主任、ARR Permanent Senior Action Editor以及EMNLP等国际会议高级领域主席。领导研发了百聆大模型，机器翻译方面的工作获得国内首个ACL最佳长文奖，获中国人工智能学会“杰出贡献奖”、CCF自然语言处理专委会 “青年新锐奖”、 “钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等。