实训室介绍

    实训室介绍

    当前位置: 网站首页 -> 实训室介绍 -> 正文

    Spark大数据分析训练场

    信息来源: 发布日期:2025-03-05

    Spark大数据分析训练场始建于2018年12月,由信息工程学院和华为信息技术有限公司共同建设而成。现有品牌台式机49台,设备总价值约25万元,可容纳44名学生实习、实训。

    本训练场主要承担我院《Hadoop应用技术与开发》、《Spark平台与应用开发》、《大数据分析实战》等课程的实践教学任务,重点培养“精编程、通算法、善优化”的Spark全栈开发人才

    通过实训,学生能够掌握Spark核心编程模型;精通SparkSQL数据分析;具备实时流处理能力;熟悉机器学习算法应用;掌握性能调优方法;具备分布式系统思维。

    主要教学项目:

    1.HDFS环境搭建及常用命令

    2.HDFS的JavaAPI操作

    3.MapReduce并行计算框架

    4.Spark编程语言Scala语言基础

    5.SparkRDD数据分析

    6.SparkSQL数据库操作

    7.SparkStreaming流数据计算处理

    8.SparkMLlib大数据机器学习