大数据技术

课程编码：180203085412P3003H 英文名称：Big Data Technology 课时：40 学分：2.00 课程属性：专业课 主讲教师：钟进文等

本课程主要讲授大数据存储、管理、计算的概念、方法、模型、原理和新技术。课程的目的和任务是：使学生通过本课程的学习，系统地掌握大数据管理相关的理论和方法，了解领域前沿动态，为今后在相关领域开展研究工作打下坚实基础。

《程序设计语言》、《数据结构》

第一章 绪论 3学时 钟进文
第1节 课程内容与安排
第2节 课程背景与研究问题
第3节 大数据管理分析概述
第二章 分布式文件系统 3学时 钟进文
第1节 文件系统概述
第2节 分布式文件系统
第3节 HDFS文件系统实例
第三章 大数据处理
第1节 离线计算技术 3学时 钟进文
第2节 流式计算技术 1学时 黄晶
第3节 内存计算技术 2学时 黄晶
第四章 关系数据模型与系统 6学时 黄晶
第1节 数据库发展历史发展趋势
第2节 关系模型与SQL
第3节 数据库的实现原理
第4节 分布式数据库的架构
第5节 数据的存储组织
第五章 键值对数据模型与系统 3学时 黄晶
第1节 键值对数据模型与查询
第2节 分布式键值数据库架构
第3节 数据的组织存储
第4节 键值对系统实例分析
第六章 文档模型与管理系统 3学时 黄晶
第1节 文档模型及查询语言
第2节 分布式文档管理系统架构
第3节 数据的组织存储
第4节 文档管理系统实例分析
第七章 图模型与管理系统 3学时 黄晶
第1节 图数据模型与查询语言
第2节 分布式图数据库架构
第3节 数据的组织存储
第4节 图数据管理系统实例分析
第八章 分布式事务与故障恢复 3学时 黄晶
第1节 分布式事务
第2节 一致性协议
第3节 实例系统分析
第九章 分布式存储与查询优化技术 6学时 钟进文
第1节 重复数据删除技术
第2节 大数据存储纠删码技术
第3节 数据的查询优化技术
第十章 总结考试 4学时 钟进文
第1节 课程总结
第2节 课程报告

钟进文，博士，高级工程师。主要研究方向为大数据管理、时空数据分析。作为课题负责人主持多项国家部委重大工程项目建设，作为核心骨干参与多项国家863计划、国家242信息安全计划项目、重点研发计划。作为核心成员参与自研大数据管理系统，参与国家部委多个PB级大数据管理平台建设，支撑多领域关键业务。
黄晶，曾在吉林大学计算机学院担任教授，博导，一直进行一线本科和研究生教学工作。工作20多年来，在课堂教学、教材建设、一流课程建设、本科学科竞赛、研究生培养等方面积累了较为丰富的工作经验。所在的“数据结构”课程团队被评为首批国家一流本科课程，国家精品课程，国家精品资源共享课，吉林省金课，吉林省精品慕课。系统主讲过研究生和本科课程8门，包括《数据结构》、《算法分析与设计》、《安全电子商务》、《分布式数据库》、《电子商务技术及应用》、《程序设计基础》、《计算机专业英语》和《计算机组成原理》。主持和参与了10余项国家和吉林省教学改革项目，主持的吉林省教育厅和吉林大学教改项目目前处于在研状态。
出版了一部高等教育出版社的十二五国家级规划教材，到目前为止已经有7000余人使用。排名第二的十四五国家级规划教材正在编写中，也将在高等教育出版社出版。2022年，作为吉林大学“数据结构”课程团队骨干，参加教育部首批101 计划，参与教材编写，课堂质量提升计划（清华、人大、浙大听课），并做了课堂观察和总结的报告。本科教学奖励情况：所在的“数据结构”课程团队被教育部评为2020首批国家级一流本科课程，排名第3（2020年10月）；获得第八届吉林大学校级教学成果一等奖，排名第5（2018年09月）。黄晶老师授课分别获得2019年和2023年吉林大学本科“课堂教学质量优秀奖”；首届吉林大学青年教师教学水平大赛三等奖；IBM优秀教师奖。指导学生获中国计算机设计大赛吉林省级赛一等奖（2021），中国计算机设计大赛三等奖（2021）；获全国高校绿色计算机大赛国家级二等奖（2018年）；指导多组大学生创新创业计划项目（2020年-2023年）。