高性能运算与应用
课程编码：180086081200P0003H
英文名称：High Performance Computing and Applications
课时：20
学分：1.00
课程属性：高级强化课
主讲教师：HAIXIANG LIN
教学目的要求
本课程介绍目前流行的并行计算机的体系结构、并行编程语言和工具，以及设计并行算法的基本原则。高效的算法在实现高性能方面起着至关重要的作用，因此课程的很大一部分内容涉及层次方法。另外通信和同步开销是并行系统效率的关键，减少分布式计算中的通信开销是重点，例如，用减少通讯的雅可比算法和于机器学习的异步优化算法。
预修课程
计算机架构，计算机算法设计与分析，线性代数，数值分析引论
大纲内容
第一章 Introduction HAIXIANG LIN
第1节 HPC history and trends 0.5学时
第2节 Computational demands for HPC 0.5学时
第二章 HPC system architecture HAIXIANG LIN
第1节 Processing elements 0.5学时
第2节 Memory organization 0.5学时
第3节 Interconnection networks 1.0学时
第三章 Design and analysis of parallel algorithms HAIXIANG LIN
第1节 Parallelism and dependency 1.0学时
第2节 Load balancing 0.5学时
第3节 Communication overhead 1.0学时
第4节 Performance analysis 1.5学时
第四章 Parallel programming HAIXIANG LIN
第1节 Programming models 0.5学时
第2节 OpenMP 1.5学时
第3节 MPI 2.0学时
第4节 CUDA 1.0学时
第五章 Parallel numerical algorithms HAIXIANG LIN
第1节 Poisson equations and Jacobi iterative algorithm 1.0学时
第2节 Gauss Seidel and SOR algorithm 0.5学时
第3节 Conjugate Gradient algorithm 0.5学时
第4节 Communication avoiding Jacobi 0.5学时
第六章 Hierarchical methods and parallelization HAIXIANG LIN
第1节 Multigrid method 1.5学时
第2节 Multilevel graph partitioning 1.0学时
第3节 Nbody simulations 1.5学时
第七章 Parallelism and AI HAIXIANG LIN
第1节 Neural Networks 0.5学时
第2节 Synchronous and Asynchronous parallel SGD algorithms 1.0学时
参考书
1、
Introduction to High Performance Computing
Victor Eijkhout
December 2022
https://theartofhpc.com/ （数字版链接）
2、
Parallel Programming for Multicore and Cluster Systems
Thomas Rauber, Gudula Runger
2012 (third edition)
Springer
课程教师信息
林海翔，荷兰代尔夫特理工大学电子、数学与计算机学院，莱顿大学理学院环境科学系教授