admin 管理员组文章数量: 1184232
2024年6月11日发(作者：c++三个数从小到大排序)
《Spark大数据技术与应用案例教程》课程
标准
【课程名称】旅行社经营与管理 【课程编码】
【课程类别】专业基础课
【适用专业】计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相
关专业
【授课单位】 【总 学 时】48学时
【编写执笔人】 【编写日期】
一、
课程定位与设计思路
1.1 课程性质
本课程是计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相关专
业的专业基础课，其目标是培养学生掌握Spark大数据计算框架的基本原理和使用，培养学
生大数据思维与动手能力。
本课程旨在通过介绍大数据产生、大数据技术基础、大数据处理、分析、挖掘和可视化
的完整过程，让学生了解大数据是什么及其应用价值，全方位了解理论知识。同时结合工具
和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等操作，利用实践操作和应
用案例促进学生动手分析能力，掌握运用大数据分析软件的技能和方法。
1.2 课程设计思路
本课程重视理论结合实践，每个项目讲解理论的同时以各种软件实操和案例作为论证和
巩固，提高学生学习的趣味。此外，本课程包含众多实操分析案例，在案例操作的过程中，
一方面需要指导学生完成案例操作的任务，利用工具和开发语言实现数据采集、存储、处理、
分析、挖掘以及可视化等技能，另一方面需要激发学生主动学习、深入研究的热情。本课程
立足于实际能力培养，打破以知识传授为主要特征的传统学科课程模式，转变为以实际操作
任务为中心组织课程内容和课程教学，整合理论和实践，让学生在完成具体案例的过程中来
构建和了解相关理论知识体系，并发展大数据技术应用的职业能力。
二、课程目标
2.1 知识目标
（1）了解Spark的发展历程、特点与应用场景。
（2）熟悉Spark的生态系统、运行架构与运行基本流程。
（3）掌握Spark的部署模式、PySpark命令与运行应用程序的方法。
（4）掌握RDD的执行过程和依赖关系。
（5）理解RDD持久化和分区。
（6）熟悉Spark中常见的文件格式。
（7）了解Spark SQL的特点。
（8）理解Spark SQL的架构。
（9）理解Spark SQL的运行原理。
（10）了解流数据、流计算和Spark Streaming的基本概念。
（11）理解Spark Streaming的运行原理。
（12）掌握编写Spark Streaming应用程序的基本步骤。
（13）熟悉Spark Streaming的不同数据源。
（14）了解Spark MLlib的组成。
（15）熟悉Spark MLlib的基本数据类型。
（16）理解Spark MLlib的运行流程。
（17）掌握图的基本概念和类型。
（18）熟悉GraphFrames的优点和功能。
（19）了解GraphFrames的应用场景。
2.2 技能目标
（1）能独立搭建Spark单机环境。
（2）能独立搭建Spark集群环境。
（3）能使用PySpark和PyCharm开发并运行应用程序。
（4）能读取数据创建RDD。
（5）能使用RDD的不同操作处理数据。
（6）能对RDD进行持久化和分区操作。
（7）能将RDD存储为不同类型的文件。
（8）能配置Spark SQL。
（9）能读取数据并创建DataFrame。
（10）能获取DataFrame的数据。
（11）能使用不同的方式查询DataFrame的数据。
（12）能将DataFrame保存为不同的数据类型。
（13）能使用Spark Streaming读取不同数据源创建DStream。
（14）能使用DStream的转换操作实时处理流数据。
（15）能使用DStream的输出操作输出实时处理的结果。
（16）能使用Spark MLlib的特征提取、特征转换和特征选择等特征化工具处理数据。
（17）能使用Spark MLlib的聚类算法处理数据。
（18）能使用Spark MLlib的分类算法处理数据。
（19）能读取数据创建图。
（20）能使用GraphFrame类的属性和图的数据操作方法处理图数据。
（21）能使用图的常用算法解决实际问题。
版权声明：本文标题：《Spark大数据技术与应用案例教程》课程标准 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1718101227a717026.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论