并行计算与实现技术

课程编码：280216085410M3016 英文名称：Parallel Computing and Implementation Technology 课时：40 学分：2.00 课程属性：专业课 主讲教师：邵恩等

本课程讨论并行计算的基本原理、概念、定理，重点讲授并行算法的分析及其在特定并行硬件架构（多核CPU、CPU集群、GPU）下的实现、分析调试和运行，培养学生在并行计算领域的实践能力。通过本课程的学习，要求学生理解并行计算的基本原理，掌握常见并行架构下的并行程序实现技术（OpenMP、MPI和CUDA），掌握并行程序的性能分析方法，基于华为鲲鹏CPU集群和英伟达GPU完成案例设计和实验。

程序设计语言、操作系统、计算机网络、计算机算法设计与分析

第一章 并行计算简介 4学时 邵恩
第1节 课程概述
第2节 并行计算发展概述
第3节 并行计算-硬件架构基础
第4节 并行计算-软件算法基础
第二章 共享存储并行编程OpenMP 8学时 肖俊敏
第1节 OpenMP核心特性
第2节 OpenMP线程同步
第3节 OpenMP数据属性
第4节 OpenMP链表遍历
第5节 OpenMP蒙特卡洛法实现
第6节 OpenMP编程实践
第三章 消息传递接口编程MPI 10学时 杨帆
第1节 MPI编程模型基础
第2节 MPI非阻塞通讯
第3节 MPI数据类型
第4节 MPI虚拟拓扑
第5节 MPI-RMA
第6节 MPI-并行I/O
第7节 MPI超算中心案例
第8节 并行程序性能分析工具-TAU
第9节 并行计算可视化工具-ParaView
第10节 MPI编程实践
第四章 大规模并行处理器编程CUDA 18学时 邵恩
第1节 并行加速器与GPU基础
第2节 CUDA编程模型
第3节 CUDA统一内存模型
第4节 CUDA可扩展并行计算
第5节 CUDA内存架构与数据
第6节 CUDA性能优化
第7节 CUDA并行模式-卷积
第8节 CUDA并行模式-稀疏矩阵
第9节 CUDA应用-机器学习
第10节 CUDA张量核心与混合精度计算
第11节 CUDA综合实践-1
第12节 CUDA综合实践-2

邵恩，中国科学院计算技术研究所 高级工程师 硕士生导师，博士毕业于中国科学院大学。在高性能计算机研制方面，主要负责机群操作系统的开发与研制工作，具体攻关技术方向包括：计算机系统结构、超算系统软件。承担和参与国家重点研发计划、国家自然科学基金、总装预研、CCF-百度松果基金等项目及课题的科研任务。
肖俊敏?，男，博士，中国科学院计算技术研究所副研究员，主要从事高性能并行算法设计与优化和智能超算的研究工作。主持并参与了国家自然科学基金“青年科学基金项目”，参与国家重点研发计划“高性能计算”重点专项、国家重点研发计划“海洋环境安全保障”重点专项，以及中国科学院重点部署项目。
杨帆，男，博士，中国科学院计算技术研究所高级工程师，主要从事计算机体系结构、高性能互连网络芯片、在网计算技术的研究工作。作为项目骨干参与了十三五重点研发计划1项，中国科学院先导B类专项课题1项，中国科学院先导C类专项课题1项，科技创新重大项目1项，参与了多款高性能互连网络核心芯片研制，发表论文和专利10余篇。