作者：许慧
页数：224
出版社：电子工业出版社
出版日期：2023
ISBN：9787121463631
电子书格式：pdf/epub/txt
内容简介
本书以项目任务为载体串联知识与技能，介绍基于 Spark SQL 技术的大数据分析方法，培养 学习者使用 Spark SQL 技术解决实际数据分析问题的能力，主要内容有大数据分析概述、实践环 境准备、学生信息处理分析、房产大数据分析与探索、电商大数据分析与探索、Zepplin 数据可视 化。在实现任务的过程中详细阐述了 Scala 语言基础、Spark SQL 编程分析、Spark SQL 数据分 析与探索、数据可视化等知识。本书适合作为高等职业院校计算机、大数据、人工智能及相关专业的教材或参考书，也可以 作为数据分析人员的参考书。
作者简介
许慧（1991.10—），女，浙江大学空天信息技术硕士，衢州职业技术学院专职教师，从事大数据技术教学和科研工作。2022年主持”浙江省高等学校课程思政示范课程项目”《大数据集群环境搭建实训》课程建设项目。主持”衢州职业技术学院课程思政示范课程项目”《大数据挖掘与分析》课程建设。主持2019年衢州市指导性科技计划项目”基于大数据的衢州电商客户数据信息安全技术研究”。
目录
第 1 章 大数据分析概述 ………………………………………………………………………………1
任务 1.1 关于大数据分析………………………………………………………………………………… 1
情境导入 ………………………………………………………………………………………….. 1
学习目标和要求 ……………………………………………………………………………….. 1
1.1.1 什么是大数据分析 …………………………………………………………………. 2
1.1.2 大数据分析工具 …………………………………………………………………….. 5
1.1.3 大数据分析可视化 …………………………………………………………………. 8
任务 1.2 认识 Spark SQL ………………………………………………………………………………… 8
情境导入 ………………………………………………………………………………………….. 8
学习目标和要求 ……………………………………………………………………………….. 8
1.2.1 Spark SQL 的背景简介 …………………………………………………………… 9
1.2.2 Spark SQL 的运行原理 …………………………………………………………. 10
脑图小结…………………………………………………………………………………………………………. 14
章节练习…………………………………………………………………………………………………………. 16
第 2 章 实践环境准备 ……………………………………………………………………………….17
任务 2.1 Hadoop 集群环境搭建 ……………………………………………………………………… 17
情境导入 ………………………………………………………………………………………… 17
学习目标和要求 ……………………………………………………………………………… 18
2.1.1 环境准备 ……………………………………………………………………………… 18
2.1.2 安装 Hadoop…………………………………………………………………………. 35
2.1.3 启动 Hadoop 集群…………………………………………………………………. 45
2.1.4 运行经典案例 wordcount ………………………………………………………. 48
任务 2.2 Spark 集群部署与使用 …………………………………………………………………….. 50
情境导入 ………………………………………………………………………………………… 50
学习目标和要求 ……………………………………………………………………………… 50
2.2.1 安装 Spark ……………………………………………………………………………. 50
2.2.2 启动 Spark ……………………………………………………………………………. 54
2.2.3 Spark 集群测试 …………………………………………………………………….. 56
任务 2.3 安装 Scala ……………………………………………………………………………………….. 60
情境导入 ………………………………………………………………………………………… 60
学习目标和要求 ……………………………………………………………………………… 60
2.3.1 下载 Scala 安装包…………………………………………………………………. 61
2.3.2 Scala 安装配置……………………………………………………………………… 61
脑图小结…………………………………………………………………………………………………………. 62
章节练习…………………………………………………………………………………………………………. 63
第 3 章 学生信息处理分析 …………………………………………………………………………65
任务 3.1 班级基本情况分析…………………………………………………………………………… 66
情境导入 ………………………………………………………………………………………… 66
学习目标和要求 ……………………………………………………………………………… 66
3.1.1 学生所属班级和男女生数量 …………………………………………………. 67
3.1.2 以班级为单位整理学生信息 …………………………………………………. 84
任务 3.2 学生基本情况分析…………………………………………………………………………… 96
情境导入 ………………………………………………………………………………………… 96
学习目标和要求 ……………………………………………………………………………… 96
3.2.1 学生特长情况分析 ……………………………………………………………….. 96
3.2.2 学生成绩情况分析 ……………………………………………………………… 102
脑图小结……………………………………………………………………………………………………….. 105
章节练习……………………………………………………………………………………………………….. 106
第 4 章 房产大数据分析与探索 …………………………………………………………………108
任务 4.1 某房产公司销售人员业绩分析……………………………………………………… 108
情境导入 ………………………………………………………………………………………. 108
学习目标和要求 ……………………………………………………………………………. 110
4.1.1 数据集处理 ………………………………………………………………………… 110
4.1.2 数据操作分析 …………………………………………………………………….. 116
任务 4.2 某城市近年房产销售状况分析……………………………………………………….. 131
情境导入 ………………………………………………………………………………………. 131
学习目标和要求 ……………………………………………………………………………. 132
4.2.1 数据准备 ……………………………………………………………………………. 132
4.2.2 数据探索与分析 …………………………………………………………………. 134
4.2.3 总结分析 ……………………………………………………………………………. 139
脑图小结……………………………………………………………………………………………………….. 139
章节练习……………………………………………………………………………………………………….. 140
第 5 章 电商大数据分析与探索 …………………………………………………………………141
任务 5.1 “女装电子商务评论”数据分析……………………………………………….. 141
情境导入 ………………………………………………………………………………………. 141
学习目标和要求 ……………………………………………………………………………. 142
5.1.1 数据准备 …………………………………………………………………………. 142
5.1.2 数据清洗 …………………………………………………………………………. 152
5.1.3 数据转换 …………………………………………………………………………. 157
5.
任务 1.1 关于大数据分析………………………………………………………………………………… 1
情境导入 ………………………………………………………………………………………….. 1
学习目标和要求 ……………………………………………………………………………….. 1
1.1.1 什么是大数据分析 …………………………………………………………………. 2
1.1.2 大数据分析工具 …………………………………………………………………….. 5
1.1.3 大数据分析可视化 …………………………………………………………………. 8
任务 1.2 认识 Spark SQL ………………………………………………………………………………… 8
情境导入 ………………………………………………………………………………………….. 8
学习目标和要求 ……………………………………………………………………………….. 8
1.2.1 Spark SQL 的背景简介 …………………………………………………………… 9
1.2.2 Spark SQL 的运行原理 …………………………………………………………. 10
脑图小结…………………………………………………………………………………………………………. 14
章节练习…………………………………………………………………………………………………………. 16
第 2 章 实践环境准备 ……………………………………………………………………………….17
任务 2.1 Hadoop 集群环境搭建 ……………………………………………………………………… 17
情境导入 ………………………………………………………………………………………… 17
学习目标和要求 ……………………………………………………………………………… 18
2.1.1 环境准备 ……………………………………………………………………………… 18
2.1.2 安装 Hadoop…………………………………………………………………………. 35
2.1.3 启动 Hadoop 集群…………………………………………………………………. 45
2.1.4 运行经典案例 wordcount ………………………………………………………. 48
任务 2.2 Spark 集群部署与使用 …………………………………………………………………….. 50
情境导入 ………………………………………………………………………………………… 50
学习目标和要求 ……………………………………………………………………………… 50
2.2.1 安装 Spark ……………………………………………………………………………. 50
2.2.2 启动 Spark ……………………………………………………………………………. 54
2.2.3 Spark 集群测试 …………………………………………………………………….. 56
任务 2.3 安装 Scala ……………………………………………………………………………………….. 60
情境导入 ………………………………………………………………………………………… 60
学习目标和要求 ……………………………………………………………………………… 60
2.3.1 下载 Scala 安装包…………………………………………………………………. 61
2.3.2 Scala 安装配置……………………………………………………………………… 61
脑图小结…………………………………………………………………………………………………………. 62
章节练习…………………………………………………………………………………………………………. 63
第 3 章 学生信息处理分析 …………………………………………………………………………65
任务 3.1 班级基本情况分析…………………………………………………………………………… 66
情境导入 ………………………………………………………………………………………… 66
学习目标和要求 ……………………………………………………………………………… 66
3.1.1 学生所属班级和男女生数量 …………………………………………………. 67
3.1.2 以班级为单位整理学生信息 …………………………………………………. 84
任务 3.2 学生基本情况分析…………………………………………………………………………… 96
情境导入 ………………………………………………………………………………………… 96
学习目标和要求 ……………………………………………………………………………… 96
3.2.1 学生特长情况分析 ……………………………………………………………….. 96
3.2.2 学生成绩情况分析 ……………………………………………………………… 102
脑图小结……………………………………………………………………………………………………….. 105
章节练习……………………………………………………………………………………………………….. 106
第 4 章 房产大数据分析与探索 …………………………………………………………………108
任务 4.1 某房产公司销售人员业绩分析……………………………………………………… 108
情境导入 ………………………………………………………………………………………. 108
学习目标和要求 ……………………………………………………………………………. 110
4.1.1 数据集处理 ………………………………………………………………………… 110
4.1.2 数据操作分析 …………………………………………………………………….. 116
任务 4.2 某城市近年房产销售状况分析……………………………………………………….. 131
情境导入 ………………………………………………………………………………………. 131
学习目标和要求 ……………………………………………………………………………. 132
4.2.1 数据准备 ……………………………………………………………………………. 132
4.2.2 数据探索与分析 …………………………………………………………………. 134
4.2.3 总结分析 ……………………………………………………………………………. 139
脑图小结……………………………………………………………………………………………………….. 139
章节练习……………………………………………………………………………………………………….. 140
第 5 章 电商大数据分析与探索 …………………………………………………………………141
任务 5.1 “女装电子商务评论”数据分析……………………………………………….. 141
情境导入 ………………………………………………………………………………………. 141
学习目标和要求 ……………………………………………………………………………. 142
5.1.1 数据准备 …………………………………………………………………………. 142
5.1.2 数据清洗 …………………………………………………………………………. 152
5.1.3 数据转换 …………………………………………………………………………. 157
5.
