大语言模型介绍
课程编码：180202140100P7009H
英文名称：Introduction to Large Language Model
课时：20
学分：1.00
课程属性：科学前沿讲座
主讲教师：张军坦
教学目的要求
本课程是大语言模型介绍课程，会覆盖大语言模型原理介绍，大语言模型推理的理论分析和加速技术，以及DeepSeek v3和矩阵乘法优化的案例分析。要求有AI和编程基础。
预修课程
线性代数
大纲内容
第一章 LLM 基础 4.0学时 张军坦
第1节 Transformer结构
第2节 KV cache
第3节 算术强度分析
第4节 GPT2介绍
第二章 LLM 推理 12.0学时 张军坦
第1节 矩阵乘分析
第2节 脉动矩阵乘
第3节 访存
第4节 通信原语
第5节 不同拓扑结构的带宽分析
第6节 高效allReduce
第7节 常见LLM模型推理分析：tokens/second，dollar/token
第8节 量化
第9节 稀疏化
第三章 案例分析 4.0学时 张军坦
第1节 DeepSeek v3
第2节 矩阵乘优化
参考书
课程教师信息
张军坦，主要从事AI研发，LLM 算法及AI硬件可靠性设计