访问量: 95590
注册
登录
大数据处理技术

课程代码:QZ063049,SS063059

课程负责人: 马坤
共建教师: 张坤9958 曹毅
课程建设:校级教学案例库 开课学院:信息科学与工程学院

开课时间:2020年11月17日 学习人数:135人
有效时间: 永久有效 评分:
课程还未发布,不允许加入和购买
课程简介

《大数据处理技术》为学生搭建起通向“大数据知识空间”的桥梁和纽带,以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则,为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、云计算基础模型(软件即服务、平台即服务、基础设施即服务)、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节,安排了入门级的实践操作,让学生更好地学习和掌握大数据关键技术。

展开
教学大纲

1、大数据关键技术与挑战
1):什么是大数据、大数据特点、大数据处理案例、大数据处理的基本流程;大数据处理模型、大数据关键技术、大数据处理工具、大数据时代面临的新挑战
2):大数据时代、大数据与云计算关系、云计算技术成熟度、云计算三层模型、云计算发展现状与技术生态圈
2、云计算关键技术与挑战
1)云计算模型
2)SaaS架构设计:什么是SaaS、SaaS的成熟度模型、构建多租户的SaaS应用、多租户数据存储模型、多租户软件数据库设计
实验1-多租户云应用开发:多租户数据库设计、多租户软件开发
3)虚拟化技术与Docker技术:虚拟化技术简介;服务器虚拟化:层次、底层实现、虚拟机迁移、隔离技术;案例分析;Docker技术
实验2-虚拟化软件平台使用:vmware、Esxi、ClouderaCDH、其它部分开源平台
3、知识图谱图数据库Neo4J应用
实验3-知识图谱图数据库Neo4J工具使用
4、常用大数据处理技术
1)Hadoop HDFS分布式文件系统:HDFS的基本原理和使用方法
实验4-Hadoop HDFS分布式文件系统:HDFS的安装、使用与相关开发
2)Hadoop MapReduce并行处理框架:MapReduce基本原理和使用方法
实验5-Hadoop MapReduce并行处理框架实验:MapReduce的安装、使用与相关开发
3)NoSQL大数据数据库技术
实验5-NoSQL安装与使用:MongoDB、HBase安装、使用与相关开发
5、大数据处理技术分组报告

展开
授课计划

教学

学时数

主要授课内容

授课

方式

课外

要求

授课

教师

1

4

2

大数据关键技术与挑战(1):什么是大数据、大数据特点、大数据处理案例、大数据处理的基本流程;大数据处理模型、大数据关键技术、大数据处理工具、大数据时代面临的新挑战

面授

阅读相关综述论文

马坤

2

5

2

大数据与云计算概述:大数据时代、大数据与云计算关系、云计算技术成熟度、云计算三层模型、云计算发展现状与技术生态圈

面授

阅读相关综述论文

马坤

3

6

2

SaaS架构设计:什么是SaaSSaaS的成熟度模型、构建多租户的SaaS应用、多租户数据存储模型、多租户软件数据库设计

面授

系统研发准备

马坤

4

7

2

实验1-多租户云应用开发:多租户数据库设计、多租户软件开发

实践实验12J214

完成系统开发

马坤

5

8

2

虚拟化技术:虚拟化技术简介;服务器虚拟化:层次、底层实现、虚拟机迁移、隔离技术;案例分析

面授

虚拟化软件预安装

马坤

6

9

2

实验2-虚拟化软件平台使用:vmwareEsxiClouderaCDH、其它部分开源平台

实践实验12J214

虚拟化软件熟练使用

马坤

7

10

2

知识图谱图数据库Neo4J应用

面授

阅读流计算相关论文

张坤

8

11

2

实验3-知识图谱图数据库Neo4J工具使用

实践实验12J214

工具使用

张坤

9

12

2

Hadoop HDFS分布式文件系统:HDFS的基本原理和使用方法

面授

HDFS命令与程序开发

曹毅

10

13

2

实验4-Hadoop HDFS分布式文件系统:HDFS的安装、使用与相关开发

实践实验12J214

完善程序

曹毅

11

14

2

Hadoop MapReduce并行处理框架:MapReduce基本原理和使用方法

面授

软件安装

曹毅

12

15

2

实验5-Hadoop MapReduce并行处理框架实验:MapReduce的安装、使用与相关开发

实践实验12J214

完善程序

曹毅

13

16

2

NoSQL大数据数据库技术

面授

软件安装

马坤

14

17

2

实验5-NoSQL安装与使用:MongoDBHBase安装、使用与相关开发

实践实验12J214

完善程序

马坤

15

18

2

大数据处理技术分组报告1:分组汇报相关综述论文阅读情况

专题研讨

形成报告

马坤

16

19

2

大数据处理技术分组报告2:分组汇报相关综述论文阅读情况

专题研讨

形成报告

马坤

填表说明:

1.严格对照各年级研究生培养方案及各学位课教学大纲填写 ,A4纸打印。2.“课次”应按授课顺序填写,如1,2,……。3.教学周,按照课程表及每学期的校历填写。4.“授课方式”填写如“面授”“案例教学”“专题研讨”“实践实验”“线上教学”等,5.“实践实验”课要注明教学地点。6.“课外要求”要针对授课内容做出明确要求。7.课程负责人打印一份纸质材料报分管院长审核,审核通过后交学院研究生秘书存档。8.“授课教师”和“学时数”应与各学期备案的教学计划一致。

展开

教学团队

《大数据处理技术》教学团队由马坤、张坤、曹毅三位老师组成。 教学团队负责人是马坤老师。 马坤,济南大学信息科学与工程学院副教授、博士,硕士生导师,校聘教授岗。2011年毕业于山东大学计算机软件与理论专业,获工学博士学位。主要研究方向为数据密集型计算、大数据管理等。在国内外重要期刊上,以第一作者或通讯作者身份发表学术论文50余篇,其中SCI收录26篇、SSCI收录1篇,包括CCF B类期刊2篇、CCF C类期刊6篇,CCF C类会议10篇,出版学术专著2部,授权发明专利9项、实用新型6项。目前主持国家自然科学基金面上项目1项、省重点研发计划1项、省自然科学基金2项、省社科专项1项、省高等学校科研计划1项,承担国家自然科学基金青年项目2项、省重点研发计划1项、省自然科学基金1项,获山东省高校优秀科研成果奖三等奖1次(第1位)。担任国际EI期刊《International Journal of Grid and Utility Computing》编委,《Recent Patents on Computer Science》、《International Journal of Services Technology and Management》等EI期刊客座编辑。