课程大纲

课程大纲

并行与分布式计算

课程编码:081202M05010H 英文名称:Parallel and Distributed Computing 课时:50 学分:3.00 课程属性:专业普及课 主讲教师:金蓓弘等

教学目的要求
本课程为计算机科学学科计算机软件与理论专业和软件工程学科研究生的专业普及课。本课程讲授和讨论并行和分布式计算的基本原理和关键技术。主要内容有分布式计算的模型,分布式算法,硬件并行设施,语言并行机制等。
通过本课程的学习,使学生掌握并行和分布式计算的基本原理和关键技术,增强实际系统设计的能力,能充分了解当今并行和分布式计算的最新发展,培养学生在并行和分布式计算领域的研究能力。

预修课程
程序设计语言
操作系统
计算机网络
计算机算法设计与分析

大纲内容
第一章 分布式系统的特征 4.0学时 金蓓弘
第1节 基本概念
第2节 设计目标
第3节 分布式系统的时间
第4节 分布式系统的状态
第二章 分布式系统的交互处理 6.0学时 金蓓弘
第1节 进程组织
第2节 进程交互
第3节 进程协作
第三章 分布式系统的故障处理 4.0学时 金蓓弘
第1节 可靠通信
第2节 协定问题
第3节 分布式恢复
第四章 分布式系统的数据处理 4.0学时 金蓓弘
第1节 P2P 查找
第2节 复制和一致性
第五章 分布式事务处理 3.0学时 金蓓弘
第1节 分布式事务简介
第2节 原子提交协议
第3节 分布式事务中的并发控制
第4节 分布式死锁
第5节 分布式事务的恢复
第六章 MPI简介 3学时 马文静
第1节 点对点通信函数、集合通信函数
第2节 Eratothenes筛法求素数算法的并行化及优化
第3节 Floyd算法的并行化、优化及通信与计算的重叠
第七章 多线程并行 3学时 马文静
第1节 pthread主要函数简介
第2节 openmp基本制导语句、openmp循环并行、openmp任务并行
第八章 基准测试程序HPL和HPCG 3学时 马文静
第1节 MPI与OpenMP共同使用举例分析
第2节 HPL程序及其各部分通信特征、优化方法
第3节 HPCG程序简介及其并行化方法
第九章 太湖之光及stencil计算的优化 3学时 马文静
第1节 神威太湖之光简介
第2节 Stencil计算并行方法简介
第3节 MPI、OpenMP扩展介绍
第十章 CUDA编程模型 3学时 刘莹
第1节 CUDA基本概念
第2节 运行模型
第3节 编程实例
第4节 CUDA 工具包
第十一章 CUDA 内存 1学时 刘莹
第1节 内存模型
第2节 变量
第十二章 CUDA线程 2学时 刘莹
第1节 控制流
第2节 线程调度
第3节 同步机制
第十三章 性能优化 3学时 刘莹
第1节 内存融合
第2节 流和异步操作
第3节 指令预取技术
第4节 优化矩阵乘法
第十四章 CUDA经典案例 1.5学时 刘莹
第1节 归约算法
第2节 大数组扫描
第3节 数据流
第十五章 最新技术 1.5学时 刘莹
第1节 多GPU编程
第2节 HyperQ
第3节 Unified Memory
第十六章 文献阅读交流 3学时 金蓓弘
第1节 文献阅读交流

教材信息
1、 分布式系统概念和设计(第5版),
MPI与OpenMP并行程序设计:C语言版
金蓓弘,马应龙等译,
陈文光,武永卫等译
2013年,
2004年
机械出版社,
清华大学出版社

参考书
1、 并行计算导论 张林波,迟学斌,莫则尧,李若 2006 清华大学出版社

课程教师信息
授课老师简介
金蓓弘,女,博士。中国科学院软件研究所研究员,博士生导师。1989年在清华大学获学士学位,1999年在中国科学院软件研究所获博士学位。主要研究方向为中间件、移动计算、普适计算等。已在国际期刊、国际会议上发表论文100余篇,在国内学报发表论文20余篇,专著1部(共2版),译著1部(共3版),曾获得国家科学技术进步二等奖、中国科学院科技进步一等奖、北京市科学技术一等奖、中国公路学会科学技术奖三等奖。曾获中国科学院研究生院优秀教师荣誉称号、中国科学院朱李月华优秀教师奖。

马文静,女,博士,中国科学院软件研究所,副研究员。2004年在南开大学获学士学位,2011年在美国俄亥俄州立大学获博士学位,2011年-2012年在美国西北太平洋国家实验室做博士后。主要研究方向为高性能计算,异构平台代码优化与生成。

刘莹,女,博士,中国科学院大学计算机与控制学院,教授,博导,中国科学院大学数据挖掘与高性能计算实验室负责人。1999 年获北京大学学士学位,2005 年获美国西北大学博士学位。现任中国计算机学会高性能计算专业委员会委员。主要研究方向为数据挖掘、高性能计算、大数据、深度学习等。已在国际期刊和国际会议上发表学术论文80余篇。曾获北京市科学技术二等奖,获中国科学院朱李月华优秀教师奖,获美国英伟达公司(NVIDIA)中国“最佳教学中心”奖。