大数据平台技术实例教程

目录

第1篇 大数据存储篇

第1章 大数据技术概述 1

1.1 大数据源起和应用 1

1.2 大数据技术框架 2

1.3 大数据就业岗位 5

1.4 大数据的特点 8

1.5 大数据的深远影响 9

1.6 大数据的意义和发展目标 9

1.7 大数据与云计算、物联网、

人工智能的关系 10

1.8 教材在线资源及使用说明 12

1.9 本章思维导图 14

1.10 习题 14

第2章 数据采集和大数据 15

2.1 数据采集和ETL 15

2.2 网络爬虫 15

2.2.1 通用网络爬虫与聚焦网络

爬虫 16

2.2.2 网络爬虫的工作过程 16

2.3 Python常用开发工具简介 16

2.3.1 Python开发环境搭建 17

2.3.2 开发工具PyCharm 17

2.3.3 开发工具Jupyter Notebook 17

2.4 Python语言简介 18

2.4.1 Python常见的数据类型 18

2.4.2 NumPy库 22

2.5 基于Python的网络爬虫应用

实例 25

2.5.1 Urllib库介绍 25

2.5.2 数据采集和ETL实例 28

2.6 本章思维导图 32

2.7 习题 32

第3章 大数据框架的安装和配置 33

3.1 大数据框架配置环境 33

3.2 Linux操作系统介绍 34

3.2.1 Linux的发展历史 34

3.2.2 Linux版本特点 35

3.2.3 Linux版本选择 36

3.3 Linux终端常见命令 37

3.3.1 基本命令 37

3.3.2 目录操作命令 38

3.3.3 文件操作命令 41

3.3.4 系统工作命令 51

3.3.5 其他常见命令 54

3.4 虚拟机的使用 57

3.5 远程登录工具配置 57

3.6 Hadoop伪分布式安装和使用 58

3.6.1 环境配置 58

3.6.2 配置SSH免密登录 58

3.6.3 配置JDK 58

3.6.4 Hadoop伪分布式配置 59

3.6.5 运行WordCount实例 60

3.7 本章思维导图 61

3.8 习题 62

第2篇 大数据管理篇

第4章 HDFS 63

4.1 引言 63

4.2 HDFS基础知识 64

4.2.1 HDFS的特点 65

4.2.2 HDFS的优缺点 65

4.2.3 HDFS的核心概念 66

4.2.4 HDFS执行流程 66

4.3 HDFS的常用Shell命令 68

4.4 Hadoop中HDFS的Web管理

界面 72

4.5 基于Java API的HDFS操作 73

4.5.1 实验环境配置 74

4.5.2 案例实现 76

4.6 本章思维导图 78

4.7 习题 78

第5章 Hadoop分布式计算模型 79

5.1 完全分布式环境配置 79

5.2 完全分布式配置步骤 80

5.3 MapReduce计算模型 83

5.4 Mapper-Reducer实例 84

5.4.1 实验准备 84

5.4.2 案例实现 84

5.5 本章思维导图 89

5.6 习题 89

第6章 分布式协调服务ZooKeeper 90

6.1 高可靠性大数据框架配置 90

6.2 ZooKeeper简介 91

6.3 ZooKeeper的常用命令 92

6.4 ZooKeeper的安装与运行 93

6.5 本章思维导图 95

6.6 习题 95

第7章 Hadoop的集群资源管理系统

YARN 96

7.1 Hadoop资源管理配置 96

7.2 YARN简介 97

7.3 YARN的工作流程 98

7.4 YARN的安装与运行 99

7.5 本章思维导图 100

7.6 习题 101

第3篇 大数据分析篇

第8章 数据库MySQL和数据仓库

Hive 102

8.1 基于Hive的大数据分析

配置 102

8.2 Hive的意义和应用 103

8.3 Hive和数据库的异同 104

8.4 Hive的架构模式及其执行 106

8.5 MySQL的安装和使用 108

8.5.1 MySQL数据库简介 108

8.5.2 安装MySQL 109

8.5.3 MySQL的基本操作 109

8.6 Hive的安装 114

8.7 Hive表的操作 114

8.7.1 内部表和外部表 114

8.7.2 Hive表的操作 115

8.8 典型内置函数与自定义函数 118

8.8.1 空值转换函数nvl 118

8.8.2 case when和sum函数的综合

应用 119

8.8.3 UDAF聚合函数concat 121

8.8.4 UDTF炸裂函数explode 123

8.8.5 窗口函数 124

8.8.6 自定义函数实例 127

8.9 本章思维导图 131

8.10 习题 131

第9章 NoSQL数据库HBase 132

9.1 大数据框架的数据库存储

配置 132

9.2 NoSQL概念和分类 133

9.3 HBase数据库 134

9.3.1 HBase数据模型 135

9.3.2 HBase体系架构及组件 136

9.4 HBase的安装 137

9.4.1 伪分布式 137

9.4.2 完全分布式 137

9.4.3 HBase的启动和关闭 138

9.4.4 HBase的网页端 139

9.5 HBase的Shell操作 141

9.6 基于Java API访问HBase

实例 146

9.6.1 准备工作 146

9.6.2 Eclipse环境下编程 146

9.7 HBase综合实例 150

9.8 本章思维导图 157

9.9 习题 157

第10章 基于内存的分布式计算

框架Spark 158

10.1 基于Spark的大数据分析框架

配置 158

10.2 Spark基础知识 159

10.2.1 Spark的特点 159

10.2.2 Spark和Hadoop的比较 160

10.2.3 RDD的概念 161

10.2.4 Spark的运行机制 161

10.2.5 Spark的运行模式 163

10.3 Spark的安装和使用 164

10.3.1 Spark安装 164

10.3.2 Python 3和Jupyter安装 165

10.3.3 启动PySpark 166

10.4 Spark的常用操作 168

10.5 Spark SQL的应用 174

10.6 Spark综合应用实例 178

10.7 Spark的机器学习 179

10.7.1 MLlib 179

10.7.2 Scala语言 180

10.7.3 MLlib的机器学习算法 181

10.7.4 Spark的机器学习流程 183

10.8 本章思维导图 194

10.9 习题 194

第4篇 大数据应用篇

第11章 数据可视化 195

11.1 可视化分析展示配置 195

11.2 数据可视化概述 195

11.3 数据可视化绘图 197

11.3.1 绘制折线图 197

11.3.2 绘制柱状图 198

11.3.3 绘制直方图 199

11.3.4 绘制散点图 200

11.3.5 绘制饼图 201

11.3.6 绘制极坐标图 202

11.3.7 绘制雷达图 203

11.3.8 绘制热力图 205

11.3.9 绘制3D图 206

11.4 综合实例—鸢尾花数据集的

可视化分析 207

11.4.1 实验环境搭建 207

11.4.2 数据集介绍 208

11.4.3 数据可视化 208

11.5 本章思维导图 217

11.6 习题 217

第12章 大数据应用综合案例 218

12.1 医疗大数据应用框架配置 218

12.2 案例概述 218

12.2.1 背景和意义 218

12.2.2 预备知识 220

12.2.3 技术方案 223

12.3 准备数据和开发环境配置 224

12.3.1 实验环境安装简述 224

12.3.2 Sqoop的安装和使用 225

12.3.3 数据集介绍 225

12.4 数据探索性分析 226

12.5 数据迁移 235

12.6 数据预处理 239

12.7 数据建模与训练 241

12.8 模型评估 244

12.8.1 特征重要性 244

12.8.2 混淆矩阵 245

12.8.3 评估指标 245

12.8.4 ROC曲线 247

12.9 本章思维导图 248

12.10 习题 248

附录A 教材实验 249

实验1：基于Python的数据抓取和

清洗 249

实验2：基于Linux的Hadoop伪

分布式安装和操作 250

实验3：分布式Hadoop的配置和

使用 252

实验4：基于数据仓库Hive的数据

分析 253

实验5：NoSQL数据库HBase

使用 255

实验6：基于分布式Spark框架的

编程 256

实验7：综合案例设计与实现 258

参考文献 260