《大数据处理技术》为学生搭建起通向“大数据知识空间”的桥梁和纽带,以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则,为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、云计算基础模型(软件即服务、平台即服务、基础设施即服务)、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节,安排了入门级的实践操作,让学生更好地学习和掌握大数据关键技术。
1、大数据关键技术与挑战
1):什么是大数据、大数据特点、大数据处理案例、大数据处理的基本流程;大数据处理模型、大数据关键技术、大数据处理工具、大数据时代面临的新挑战
2):大数据时代、大数据与云计算关系、云计算技术成熟度、云计算三层模型、云计算发展现状与技术生态圈
2、云计算关键技术与挑战
1)云计算模型
2)SaaS架构设计:什么是SaaS、SaaS的成熟度模型、构建多租户的SaaS应用、多租户数据存储模型、多租户软件数据库设计
实验1-多租户云应用开发:多租户数据库设计、多租户软件开发
3)虚拟化技术与Docker技术:虚拟化技术简介;服务器虚拟化:层次、底层实现、虚拟机迁移、隔离技术;案例分析;Docker技术
实验2-虚拟化软件平台使用:vmware、Esxi、ClouderaCDH、其它部分开源平台
3、知识图谱图数据库Neo4J应用
实验3-知识图谱图数据库Neo4J工具使用
4、常用大数据处理技术
1)Hadoop HDFS分布式文件系统:HDFS的基本原理和使用方法
实验4-Hadoop HDFS分布式文件系统:HDFS的安装、使用与相关开发
2)Hadoop MapReduce并行处理框架:MapReduce基本原理和使用方法
实验5-Hadoop MapReduce并行处理框架实验:MapReduce的安装、使用与相关开发
3)NoSQL大数据数据库技术
实验5-NoSQL安装与使用:MongoDB、HBase安装、使用与相关开发
5、大数据处理技术分组报告