《大数据处理技术》为学生搭建起通向“大数据知识空间”的桥梁和纽带,以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则,为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、云计算基础模型(软件即服务、平台即服务、基础设施即服务)、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节,安排了入门级的实践操作,让学生更好地学习和掌握大数据关键技术。
1、大数据关键技术与挑战
1):什么是大数据、大数据特点、大数据处理案例、大数据处理的基本流程;大数据处理模型、大数据关键技术、大数据处理工具、大数据时代面临的新挑战
2):大数据时代、大数据与云计算关系、云计算技术成熟度、云计算三层模型、云计算发展现状与技术生态圈
2、云计算关键技术与挑战
1)云计算模型
2)SaaS架构设计:什么是SaaS、SaaS的成熟度模型、构建多租户的SaaS应用、多租户数据存储模型、多租户软件数据库设计
实验1-多租户云应用开发:多租户数据库设计、多租户软件开发
3)虚拟化技术与Docker技术:虚拟化技术简介;服务器虚拟化:层次、底层实现、虚拟机迁移、隔离技术;案例分析;Docker技术
实验2-虚拟化软件平台使用:vmware、Esxi、ClouderaCDH、其它部分开源平台
3、知识图谱图数据库Neo4J应用
实验3-知识图谱图数据库Neo4J工具使用
4、常用大数据处理技术
1)Hadoop HDFS分布式文件系统:HDFS的基本原理和使用方法
实验4-Hadoop HDFS分布式文件系统:HDFS的安装、使用与相关开发
2)Hadoop MapReduce并行处理框架:MapReduce基本原理和使用方法
实验5-Hadoop MapReduce并行处理框架实验:MapReduce的安装、使用与相关开发
3)NoSQL大数据数据库技术
实验5-NoSQL安装与使用:MongoDB、HBase安装、使用与相关开发
5、大数据处理技术分组报告
课 次 |
教学 周 |
学时数 |
主要授课内容 |
授课 方式 |
课外 要求 |
授课 教师 |
1 |
第4周 |
2 |
大数据关键技术与挑战(1):什么是大数据、大数据特点、大数据处理案例、大数据处理的基本流程;大数据处理模型、大数据关键技术、大数据处理工具、大数据时代面临的新挑战 |
面授 |
阅读相关综述论文 |
马坤 |
2 |
第5周 |
2 |
大数据与云计算概述:大数据时代、大数据与云计算关系、云计算技术成熟度、云计算三层模型、云计算发展现状与技术生态圈 |
面授 |
阅读相关综述论文 |
马坤 |
3 |
第6周 |
2 |
SaaS架构设计:什么是SaaS、SaaS的成熟度模型、构建多租户的SaaS应用、多租户数据存储模型、多租户软件数据库设计 |
面授 |
系统研发准备 |
马坤 |
4 |
第7周 |
2 |
实验1-多租户云应用开发:多租户数据库设计、多租户软件开发 |
实践实验12J214 |
完成系统开发 |
马坤 |
5 |
第8周 |
2 |
虚拟化技术:虚拟化技术简介;服务器虚拟化:层次、底层实现、虚拟机迁移、隔离技术;案例分析 |
面授 |
虚拟化软件预安装 |
马坤 |
6 |
第9周 |
2 |
实验2-虚拟化软件平台使用:vmware、Esxi、ClouderaCDH、其它部分开源平台 |
实践实验12J214 |
虚拟化软件熟练使用 |
马坤 |
7 |
第10周 |
2 |
知识图谱图数据库Neo4J应用 |
面授 |
阅读流计算相关论文 |
张坤 |
8 |
第11周 |
2 |
实验3-知识图谱图数据库Neo4J工具使用 |
实践实验12J214 |
工具使用 |
张坤 |
9 |
第12周 |
2 |
Hadoop HDFS分布式文件系统:HDFS的基本原理和使用方法 |
面授 |
HDFS命令与程序开发 |
曹毅 |
10 |
第13周 |
2 |
实验4-Hadoop HDFS分布式文件系统:HDFS的安装、使用与相关开发 |
实践实验12J214 |
完善程序 |
曹毅 |
11 |
第14周 |
2 |
Hadoop MapReduce并行处理框架:MapReduce基本原理和使用方法 |
面授 |
软件安装 |
曹毅 |
12 |
第15周 |
2 |
实验5-Hadoop MapReduce并行处理框架实验:MapReduce的安装、使用与相关开发 |
实践实验12J214 |
完善程序 |
曹毅 |
13 |
第16周 |
2 |
NoSQL大数据数据库技术 |
面授 |
软件安装 |
马坤 |
14 |
第17周 |
2 |
实验5-NoSQL安装与使用:MongoDB、HBase安装、使用与相关开发 |
实践实验12J214 |
完善程序 |
马坤 |
15 |
第18周 |
2 |
大数据处理技术分组报告1:分组汇报相关综述论文阅读情况 |
专题研讨 |
形成报告 |
马坤 |
16 |
第19周 |
2 |
大数据处理技术分组报告2:分组汇报相关综述论文阅读情况 |
专题研讨 |
形成报告 |
马坤 |
填表说明: 1.严格对照各年级研究生培养方案及各学位课教学大纲填写 ,A4纸打印。2.“课次”应按授课顺序填写,如1,2,……。3.教学周,按照课程表及每学期的校历填写。4.“授课方式”填写如“面授”“案例教学”“专题研讨”“实践实验”“线上教学”等,5.“实践实验”课要注明教学地点。6.“课外要求”要针对授课内容做出明确要求。7.课程负责人打印一份纸质材料报分管院长审核,审核通过后交学院研究生秘书存档。8.“授课教师”和“学时数”应与各学期备案的教学计划一致。 |