
Spark大数据分析训练场始建于2018年12月,由信息工程学院和华为信息技术有限公司共同建设而成。现有品牌台式机49台,设备总价值约25万元,可容纳44名学生实习、实训。
本训练场主要承担我院《Hadoop应用技术与开发》、《Spark平台与应用开发》、《大数据分析实战》等课程的实践教学任务,重点培养“精编程、通算法、善优化”的Spark全栈开发人才。
通过实训,学生能够掌握Spark核心编程模型;精通SparkSQL数据分析;具备实时流处理能力;熟悉机器学习算法应用;掌握性能调优方法;具备分布式系统思维。
主要教学项目:
1.HDFS环境搭建及常用命令
2.HDFS的JavaAPI操作
3.MapReduce并行计算框架
4.Spark编程语言Scala语言基础
5.SparkRDD数据分析
6.SparkSQL数据库操作
7.SparkStreaming流数据计算处理
8.SparkMLlib大数据机器学习