高能物理实验的大数据管理技术

课程编码：180208082703P3003H 英文名称：Big Data Management Technologies in High Energy Physics 课时：40 学分：2.00 课程属性：专业课 主讲教师：程耀东等

本课程是核技术与应用二级学科研究生的专业普及课。高能物理大科学装置产生了PB级甚至EB级的海量实验数据，需要长期保存并在全球范围内进行开放共享和分析处理。本课程结合多个高能物理实验的数据管理系统实践，全面介绍高能物理领域的实验数据存储和管理技术，包括数据管理体系架构、基于磁盘和磁带的海量存储系统、跨地域的分布式数据管理、面向事例的数据库、数据保存和开放共享以及先进技术展望等，引导学生理解实验数据存储和管理的需求和科学数据管理系统的设计思想，灵活利用课程中的相关工具、技术和解决方案，解决高能物理大科学工程中的实际数据管理问题，为未来的工作奠定坚实的专业基础。

无

第一章 大数据基础 2学时 程耀东
第1节 高能物理实验数据处理流程及计算需求
第2节 高能物理科学数据管理技术概述
第二章 高能物理大数据管理体系架构 2学时 程耀东
第1节 高能物理科学数据管理架构
第2节 高能物理数据组织形式及特点
第三章 数据中心管理 2学时 程耀东
第1节 高能物理数据中心架构
第2节 数据中心基础设施介绍
第四章 高能物理存储设备及特性 2学时 程耀东
第1节 高能物理常用存储设备
第2节 磁带存储系统架构
第五章 上机实践课：ROOT使用及docker基本操作 2学时 李海波
第1节 ROOT使用
第2节 docker使用
第六章 高能物理大数据存储技术 2学时 李海波
第1节 高能物理数据通用存储技术
第2节 网络存储架构与协议
第七章 分布式文件系统技术 2学时 程耀东
第1节 分布式文件系统介绍
第2节 分布式文件系统架构及关键算法
第八章 高能物理分布式存储系统实例 2学时 李海波
第1节 Lustre存储系统架构与实现
第2节 EOS、Castor存储系统架构与实现
第九章 Xrootd框架原理及使用 2学时 李海波
第1节 xrootd架构及原理
第2节 基于xrootd框架的开发
第十章 上机实践课：Xrootd的安装及使用 2学时 李海波
第1节 xrootd软件安装使用
第2节 xrootd框架插件开发
第十一章 高能物理跨地域数据管理技术 2学时 程耀东
第1节 全局命名空间及远程访问
第2节 跨域存储资源管理
第十二章 跨地域数据管理系统实例 2学时 程耀东
第1节 Rucio网格数据管理系统
第2节 Rucio系统应用实例
第十三章 高能物理数据长期保存与开放 2学时 李海波
第1节 高能物理数据分类及长期保存
第2节 高能物理数据开放策略
第十四章 高能物理事例与元数据管理 2学时 程耀东
第1节 高能物理事例概念及组织
第2节 事例管理系统
第十五章 高能物理大数据智能化运维 2学时 李海波
第1节 基于机器学习的数据访问热度预测
第2节 基于机器学习的异常检测及优化
第十六章 上机实践课：深度学习技术 2学时 李海波
第1节 jupyter及tensorflow介绍
第2节 jupyter数据分析实践
第十七章 高能物理流数据处理技术 2学时 程耀东
第1节 高能物理海量数据采集技术
第2节 海量数据日志分析处理
第十八章 存储发展趋势及存储先进技术 2学时 程耀东
第1节 存储发展趋势介绍
第2节 新型存储系统介绍
第十九章 读书报告1 2学时 程耀东
第1节 读书报告汇报
第二十章 读书报告2 2学时 李海波
第1节 读书报告汇报

程耀东，中国科学院高能物理研究所研究员；李海波，中国科学院高能物理研究所副研究员