并行计算
课程编码：085400M02012Y
英文名称：Parallel Computing
课时：40
学分：2.00
课程属性：一级学科普及课
主讲教师：缪青海
教学目的要求
系统介绍并行计算的基础知识和相关算法，分别介绍主流并行编程语言MPI、OpenMP以及CUDA的相关语法、编程以及优化技巧等知识.要求掌握并行计算的起源、发展和现状，并行计算基本概念；掌握区域分解、功能分解、流水线等方法，了解矩阵乘法、蒙特卡洛法、经典迭代算法的并行化方法；掌握和使用消息传递编程语言MPI和共享存储并行编程语言OpenMP的相关知识和编程技巧；掌握和使用GPU并行加速实现技术，基于CUDA的相关语法、硬件架构、优化方法。
预修课程
无
大纲内容
第一章 并行计算简介 4学时
第1节 课程概述
第2节 并行计算发展概述
第3节 并行计算-硬件架构基础
第4节 并行计算-软件算法基础
第二章 共享存储并行编程OpenMP 8学时
第1节 OpenMP核心特性
第2节 OpenMP线程同步
第3节 OpenMP数据属性
第4节 OpenMP链表遍历
第5节 OpenMP蒙特卡洛法实现
第6节 OpenMP编程实践
第三章 消息传递接口编程MPI 10学时
第1节 MPI编程模型基础
第2节 MPI非阻塞通讯
第3节 MPI数据类型
第4节 MPI虚拟拓扑
第5节 MPI-RMA
第6节 MPI-并行I/O
第7节 MPI超算中心案例
第8节 并行程序性能分析工具-TAU
第9节 并行计算可视化工具-ParaView
第10节 MPI编程实践
第四章 大规模并行处理器编程CUDA 18学时
第1节 并行加速器与GPU基础
第2节 CUDA编程模型
第3节 CUDA统一内存模型
第4节 CUDA可扩展并行计算
第5节 CUDA内存架构与数据
第6节 CUDA性能优化
第7节 CUDA并行模式-卷积
第8节 CUDA并行模式-稀疏矩阵
第9节 CUDA应用-机器学习
第10节 CUDA张量核心与混合精度计算
第11节 CUDA综合实践-1
第12节 CUDA综合实践-2
参考书
1、
并行计算与实现技术
迟学斌等
2015年6月
科学出版社
课程教师信息
缪青海，博士，中国科学院大学人工智能学院副教授。主要从事计算智能方法研究与应用。先后主持自然科学基金1项，国家科技重大专项子课题2项，在国际知名期刊和会议上发表论文40余篇。