访问量: 98674
注册
登录
大数据处理技术

课程代码:QZ063049,SS063059

课程负责人: 马坤
共建教师: 张坤9958 曹毅
课程建设:校级教学案例库 开课学院:信息科学与工程学院

开课时间:2020年11月17日 学习人数:135人
有效时间: 永久有效 评分:
课程简介

《大数据处理技术》为学生搭建起通向“大数据知识空间”的桥梁和纽带,以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则,为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、云计算基础模型(软件即服务、平台即服务、基础设施即服务)、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节,安排了入门级的实践操作,让学生更好地学习和掌握大数据关键技术。

展开
教学大纲

1、大数据关键技术与挑战
1):什么是大数据、大数据特点、大数据处理案例、大数据处理的基本流程;大数据处理模型、大数据关键技术、大数据处理工具、大数据时代面临的新挑战
2):大数据时代、大数据与云计算关系、云计算技术成熟度、云计算三层模型、云计算发展现状与技术生态圈
2、云计算关键技术与挑战
1)云计算模型
2)SaaS架构设计:什么是SaaS、SaaS的成熟度模型、构建多租户的SaaS应用、多租户数据存储模型、多租户软件数据库设计
实验1-多租户云应用开发:多租户数据库设计、多租户软件开发
3)虚拟化技术与Docker技术:虚拟化技术简介;服务器虚拟化:层次、底层实现、虚拟机迁移、隔离技术;案例分析;Docker技术
实验2-虚拟化软件平台使用:vmware、Esxi、ClouderaCDH、其它部分开源平台
3、知识图谱图数据库Neo4J应用
实验3-知识图谱图数据库Neo4J工具使用
4、常用大数据处理技术
1)Hadoop HDFS分布式文件系统:HDFS的基本原理和使用方法
实验4-Hadoop HDFS分布式文件系统:HDFS的安装、使用与相关开发
2)Hadoop MapReduce并行处理框架:MapReduce基本原理和使用方法
实验5-Hadoop MapReduce并行处理框架实验:MapReduce的安装、使用与相关开发
3)NoSQL大数据数据库技术
实验5-NoSQL安装与使用:MongoDB、HBase安装、使用与相关开发
5、大数据处理技术分组报告

展开

教学团队

《大数据处理技术》教学团队由马坤、张坤、曹毅三位老师组成。 教学团队负责人是马坤老师。 马坤,济南大学信息科学与工程学院副教授、博士,硕士生导师,校聘教授岗。2011年毕业于山东大学计算机软件与理论专业,获工学博士学位。主要研究方向为数据密集型计算、大数据管理等。在国内外重要期刊上,以第一作者或通讯作者身份发表学术论文50余篇,其中SCI收录26篇、SSCI收录1篇,包括CCF B类期刊2篇、CCF C类期刊6篇,CCF C类会议10篇,出版学术专著2部,授权发明专利9项、实用新型6项。目前主持国家自然科学基金面上项目1项、省重点研发计划1项、省自然科学基金2项、省社科专项1项、省高等学校科研计划1项,承担国家自然科学基金青年项目2项、省重点研发计划1项、省自然科学基金1项,获山东省高校优秀科研成果奖三等奖1次(第1位)。担任国际EI期刊《International Journal of Grid and Utility Computing》编委,《Recent Patents on Computer Science》、《International Journal of Services Technology and Management》等EI期刊客座编辑。