作者：尚硅谷教育
页数：348
出版社：电子工业出版社
出版日期：2022
ISBN：9787121429125
电子书格式：pdf/epub/txt
内容简介
本书基于Flink的稳定版本1.13，从Flink数据处理思想开始讲解，带领读者深入理解Flink的基本架构，进而由浅入深，结合具体案例，详细剖析了Flink中DataStream API的使用，并对Flink中的时间语义、状态、容错机制等重要概念进行了详尽的阐述。另外，本书还对实际开发中常用的Flink SQL、CEP等高层级API进行了细致的讲解，以电商网站中的实际应用为场景，提供了大量的代码实现。本书分为三大部分：～5章，带领读者初步认识Flink并编写基本的Flink程序；第6～10章，深入探讨了Flink内部的不错应用；第11～12章，讲解了Flink提供的扩展功能。本书广泛适用于大数据的学习者与从业人员，以及院校大数据相关专业的学生，也可作为大数据学习的参考书。
作者简介
尚硅谷教育是一家专业的IT教育培训机构，开设了JavaEE、大数据、HTML5前端等多门学科，在互联网上发布的JavaEE、大数据、HTML5前端、区块链、C语言、Python等技术视频教程广受赞誉。
本书特色
本书基于Flink的稳定版本1.13，从Flink数据处理思想开始讲解，带领读者深入理解Flink的基本架构。
附赠全部源码及39小时配套视频。
目录
第1章 初识Flink 1
1．1 Flink的起源和设计理念 1
1．2 Flink的应用 3
1．2．1 Flink在企业中的应用 3
1．2．2 Flink主要的应用场景 3
1．3 流式数据处理的发展和演变 4
1．3．1 流处理和批处理 5
1．3．2 传统事务处理 6
1．3．3 有状态的流处理 6
1．3．4 Lambda架构 9
1．3．5 新一代流处理器 10
1．4 Flink的特性总结 10
1．4．1 Flink的核心特性 10
1．4．2 分层API 10
1．5 Flink与Spark 11
1．5．1 数据处理架构 12
1．5．2 数据模型和运行架构 13
1．5．3 Spark还是Flink 13
1．6 本章总结 14
第2章 Flink快速上手 15
2．1 环境准备 15
2．2 创建项目 15
2．3 编写代码 18
2．3．1 批处理 18
2．3．2 流处理 20
2．4 本章总结 23
第3章 Flink部署 25
3．1 快速启动一个Flink集群 26
3．1．1 环境配置 26
3．1．2 本地启动 26
3．1．3 集群启动 27
3．1．4 向集群提交作业 29
3．2 部署模式 32
3．2．1 会话模式 33
3．2．2 单作业模式 33
3．2．3 应用模式 34
3．3 独立模式 34
3．3．1 会话模式部署 35
3．3．2 单作业模式部署 35
3．3．3 应用模式部署 35
3．3．4 高可用 35
3．4 YARN模式 37
3．4．1 相关准备和配置 37
3．4．2 会话模式部署 38
3．4．3 单作业模式部署 39
3．4．4 应用模式部署 40
3．4．5 高可用 40
3．5 K8s模式 41
3．6 本章总结 41
第4章 Flink运行时架构 42
4．1 系统架构 42
4．1．1 整体构成 42
4．1．2 JobManager 43
4．1．3 TaskManager 44
4．2 作业提交流程 45
4．2．1 高层级抽象视角 45
4．2．2 独立模式 45
4．2．3 YARN集群 46
4．3 一些重要概念 48
4．3．1 数据流图 48
4．3．2 并行度 49
4．3．3 算子链 51
4．3．4 作业图与执行图 53
4．3．5 任务和任务槽 55
4．4 本章总结 60
第5章 DataStream API（基础篇） 61
5．1 执行环境 61
5．1．1 创建执行环境 62
5．1．2 执行模式 62
5．1．3 触发程序执行 64
5．2 源算子 64
5．2．1 准备工作 64
5．2．2 从集合中读取数据 65
5．2．3 从文件中读取数据 66
5．2．4 从Socket中读取数据 67
5．2．5 从Kafka中读取数据 67
5．2．6 自定义源算子 69
5．2．7 Flink支持的数据类型 71
5．3 转换算子 73
5．3．1 基本转换算子 73
5．3．2 聚合算子 76
5．3．3 用户自定义函数 81
5．3．4 物理分区算子 87
5．4 输出算子 93
5．4．1 连接到外部系统 93
5．4．2 输出到文件 94
5．4．3 输出到Kafka 96
5．4．4 输出到Redis 97
5．4．5 输出到ElasticSearch 99
5．4．6 输出到MySQL（JDBC） 101
5．4．7 自定义Sink输出 102
5．5 本章总结 104
第6章 Flink中的时间和窗口 105
6．1 时间语义 105
6．1．1 Flink中的时间语义 105
6．1．2 哪种时间语义更重要 107
6．2 水位线 108
6．2．1 事件时间和窗口 108
6．2．2 什么是水位线 110
6．2．3 如何生成水位线 114
6．2．4 水位线的传递 120
6．2．5 水位线的总结 121
6．3 窗口 122
6．3．1 窗口的概念 122
6．3．2 窗口的分类 124
6．3．3 窗口API概览 128
6．3．4 窗口分配器 129
6．3．5 窗口函数 131
6．3．6 测试水位线和窗口的使用 142
6．3．7 其他API 144
6．3．8 窗口的生命周期 148
6．4 迟到数据的处理 150
6．4．1 设置水位线延迟时间 150
6．4．2 允许窗口处理迟到数据 150
6．4．3 将迟到数据放入窗口侧输出流 151
6．5 本章总结 154
第7章 处理函数 155
7．1 基本处理函数 155
7．1．1 处理函数的功能和使用 155
7．1．2 ProcessFunction解析 157
7．1．3 处理函数的分类 158
7．2 KeyedProcessFunction 159
7．2．1 定时器和定时服务 159
7．2．2 KeyedProcessFunction的使用 160
7．3 窗口处理函数 164
7．3．1 窗口处理函数的使用 164
7．3．2 ProcessWindowFunction解析 164
7．4 应用案例――Top N 166
7．4．1 使用ProcessAllWindowFunction 166
7．4．2 使用KeyedProcessFunction 168
7．5 侧输出流 173
7．6 本章总结 174
第8章 多流转换 175
8．1 分流 175
8．1．1 简单实现 175
8．1．2 使用侧输出流 177
8．2 基本合流操作 178
8．2．1 联合 178
8．2．2 连接 182
8．3 基于时间的合流――双流联结 188
8．3．1 窗口联结 188
8．3．2 间隔联结 192
8．3．3 窗口同组联结 195
8．4 本章总结 197
第9章 状态编程 198
9．1 Flink中的状态 198
9．1．1 有状态算子 198
9．1．2 状态的管理 199
9．1．3 状态的分类 200
9．2 按键分区状态 201
9．2．1 基本概念和特点 201
9．2．2 支持的结构类型 202
9．2．3 代码实现 204
9．2．4 状态生存时间 213
9．3 算子状态 214
9．3．1 基本概念和特点 214
9．3．2 状态类型 215
9．3．3 代码实现 216
9．4 广播状态 219
9．4．1 基本用法 219
9．4．2 代码实例 220
9．5 状态持久化和状态后端 223
9．5．1 检查点 223
9．5．2 状态后端 224
9．6 本章总结 226
第10章 容错机制 227
10．1 检查点 227
10．1．1 检查点的保存 228
10．1．2 从检查点恢复状态 230
10．1．3 检查点算法 232
10．1．4 检查点配置 237
10．1．5 保存点 239
10．2 状态一致性 240
10．2．1 一致性的概念和级别 240
10．2．2 端到端的状态一致性 241
10．3 端到端的精确一次 241
10．3．1 输入端保证 242
10．3．2 输出端保证 242
10．3．3 Flink和Kafka连接时的精确一次保证 244
10．4 本章总结 248
第11章 Table API和SQL 249
11．1 快速上手 250
11．1．1 需要引入的依赖 250
11．1．2 一个简单示例 251
11．2 基本API 252
11．2．1 程序架构 252
11．2．2 创建表环境 253
11．2．3 创建表 254
11．2．4 表的查询 255
11．2．5 输出表 257
11．2．6 表和流的转换 257
11．3 流处理中的表 262
11．3．1 动态表和持续查询 262
11．3．2 将流转换成动态表 263
11．3．3 用SQL持续查询 265
11．3．4 将动态表转换为流 269
11．4 时间属性和窗口 270
11．4．1 事件时间 271
11．4．2 处理时间 272
11．4．3 窗口 273
11．5 聚合查询 275
11．5．1 分组聚合 275
11．5．2 窗口聚合 276
11．5．3 开窗聚合 279
11．5．4 应用实例――Top N 280
11．6 联结查询 284
11．6．1 常规联结查询 284
11．6．2 间隔联结查询 285
11．7 函数 286
11．7．1 系统函数 287
11．7．2 自定义函数 288
11．8 SQL客户端 294
11．9 连接到外部系统 296
11．9．1 Kafka 296
11．9．2 文件系统 298
11．9．3 JDBC 299
11．9．4 ElasticSearch 300
11．9．5 HBase 300
11．9．6 Hive 301
11．10 本章总结 304
第12章 Flink CEP 306
12．1 基本概念 306
12．1．1 CEP是什么 306
12．1．2 模式 307
12．1．3 应用场景 307
12．2 快速上手 308
12．2．1 需要引入的依赖 308
12．2．2 一个简单实例 308
12．3 模式API 311
12．3．1 个体模式 311
12．3．2 组合模式 316
12．3．3 模式组 319
12．3．4 匹配后跳过策略 320
12．4 模式的检测处理 321
12．4．1 将模式应用到流上 321
12．4．2 处理匹配事件 321
12．4．3 处理超时事件 324
12．4．4 处理迟到数据 329
12．5 CEP的状态机实现 330
12．6 本章总结 334
1．1 Flink的起源和设计理念 1
1．2 Flink的应用 3
1．2．1 Flink在企业中的应用 3
1．2．2 Flink主要的应用场景 3
1．3 流式数据处理的发展和演变 4
1．3．1 流处理和批处理 5
1．3．2 传统事务处理 6
1．3．3 有状态的流处理 6
1．3．4 Lambda架构 9
1．3．5 新一代流处理器 10
1．4 Flink的特性总结 10
1．4．1 Flink的核心特性 10
1．4．2 分层API 10
1．5 Flink与Spark 11
1．5．1 数据处理架构 12
1．5．2 数据模型和运行架构 13
1．5．3 Spark还是Flink 13
1．6 本章总结 14
第2章 Flink快速上手 15
2．1 环境准备 15
2．2 创建项目 15
2．3 编写代码 18
2．3．1 批处理 18
2．3．2 流处理 20
2．4 本章总结 23
第3章 Flink部署 25
3．1 快速启动一个Flink集群 26
3．1．1 环境配置 26
3．1．2 本地启动 26
3．1．3 集群启动 27
3．1．4 向集群提交作业 29
3．2 部署模式 32
3．2．1 会话模式 33
3．2．2 单作业模式 33
3．2．3 应用模式 34
3．3 独立模式 34
3．3．1 会话模式部署 35
3．3．2 单作业模式部署 35
3．3．3 应用模式部署 35
3．3．4 高可用 35
3．4 YARN模式 37
3．4．1 相关准备和配置 37
3．4．2 会话模式部署 38
3．4．3 单作业模式部署 39
3．4．4 应用模式部署 40
3．4．5 高可用 40
3．5 K8s模式 41
3．6 本章总结 41
第4章 Flink运行时架构 42
4．1 系统架构 42
4．1．1 整体构成 42
4．1．2 JobManager 43
4．1．3 TaskManager 44
4．2 作业提交流程 45
4．2．1 高层级抽象视角 45
4．2．2 独立模式 45
4．2．3 YARN集群 46
4．3 一些重要概念 48
4．3．1 数据流图 48
4．3．2 并行度 49
4．3．3 算子链 51
4．3．4 作业图与执行图 53
4．3．5 任务和任务槽 55
4．4 本章总结 60
第5章 DataStream API（基础篇） 61
5．1 执行环境 61
5．1．1 创建执行环境 62
5．1．2 执行模式 62
5．1．3 触发程序执行 64
5．2 源算子 64
5．2．1 准备工作 64
5．2．2 从集合中读取数据 65
5．2．3 从文件中读取数据 66
5．2．4 从Socket中读取数据 67
5．2．5 从Kafka中读取数据 67
5．2．6 自定义源算子 69
5．2．7 Flink支持的数据类型 71
5．3 转换算子 73
5．3．1 基本转换算子 73
5．3．2 聚合算子 76
5．3．3 用户自定义函数 81
5．3．4 物理分区算子 87
5．4 输出算子 93
5．4．1 连接到外部系统 93
5．4．2 输出到文件 94
5．4．3 输出到Kafka 96
5．4．4 输出到Redis 97
5．4．5 输出到ElasticSearch 99
5．4．6 输出到MySQL（JDBC） 101
5．4．7 自定义Sink输出 102
5．5 本章总结 104
第6章 Flink中的时间和窗口 105
6．1 时间语义 105
6．1．1 Flink中的时间语义 105
6．1．2 哪种时间语义更重要 107
6．2 水位线 108
6．2．1 事件时间和窗口 108
6．2．2 什么是水位线 110
6．2．3 如何生成水位线 114
6．2．4 水位线的传递 120
6．2．5 水位线的总结 121
6．3 窗口 122
6．3．1 窗口的概念 122
6．3．2 窗口的分类 124
6．3．3 窗口API概览 128
6．3．4 窗口分配器 129
6．3．5 窗口函数 131
6．3．6 测试水位线和窗口的使用 142
6．3．7 其他API 144
6．3．8 窗口的生命周期 148
6．4 迟到数据的处理 150
6．4．1 设置水位线延迟时间 150
6．4．2 允许窗口处理迟到数据 150
6．4．3 将迟到数据放入窗口侧输出流 151
6．5 本章总结 154
第7章 处理函数 155
7．1 基本处理函数 155
7．1．1 处理函数的功能和使用 155
7．1．2 ProcessFunction解析 157
7．1．3 处理函数的分类 158
7．2 KeyedProcessFunction 159
7．2．1 定时器和定时服务 159
7．2．2 KeyedProcessFunction的使用 160
7．3 窗口处理函数 164
7．3．1 窗口处理函数的使用 164
7．3．2 ProcessWindowFunction解析 164
7．4 应用案例――Top N 166
7．4．1 使用ProcessAllWindowFunction 166
7．4．2 使用KeyedProcessFunction 168
7．5 侧输出流 173
7．6 本章总结 174
第8章 多流转换 175
8．1 分流 175
8．1．1 简单实现 175
8．1．2 使用侧输出流 177
8．2 基本合流操作 178
8．2．1 联合 178
8．2．2 连接 182
8．3 基于时间的合流――双流联结 188
8．3．1 窗口联结 188
8．3．2 间隔联结 192
8．3．3 窗口同组联结 195
8．4 本章总结 197
第9章 状态编程 198
9．1 Flink中的状态 198
9．1．1 有状态算子 198
9．1．2 状态的管理 199
9．1．3 状态的分类 200
9．2 按键分区状态 201
9．2．1 基本概念和特点 201
9．2．2 支持的结构类型 202
9．2．3 代码实现 204
9．2．4 状态生存时间 213
9．3 算子状态 214
9．3．1 基本概念和特点 214
9．3．2 状态类型 215
9．3．3 代码实现 216
9．4 广播状态 219
9．4．1 基本用法 219
9．4．2 代码实例 220
9．5 状态持久化和状态后端 223
9．5．1 检查点 223
9．5．2 状态后端 224
9．6 本章总结 226
第10章 容错机制 227
10．1 检查点 227
10．1．1 检查点的保存 228
10．1．2 从检查点恢复状态 230
10．1．3 检查点算法 232
10．1．4 检查点配置 237
10．1．5 保存点 239
10．2 状态一致性 240
10．2．1 一致性的概念和级别 240
10．2．2 端到端的状态一致性 241
10．3 端到端的精确一次 241
10．3．1 输入端保证 242
10．3．2 输出端保证 242
10．3．3 Flink和Kafka连接时的精确一次保证 244
10．4 本章总结 248
第11章 Table API和SQL 249
11．1 快速上手 250
11．1．1 需要引入的依赖 250
11．1．2 一个简单示例 251
11．2 基本API 252
11．2．1 程序架构 252
11．2．2 创建表环境 253
11．2．3 创建表 254
11．2．4 表的查询 255
11．2．5 输出表 257
11．2．6 表和流的转换 257
11．3 流处理中的表 262
11．3．1 动态表和持续查询 262
11．3．2 将流转换成动态表 263
11．3．3 用SQL持续查询 265
11．3．4 将动态表转换为流 269
11．4 时间属性和窗口 270
11．4．1 事件时间 271
11．4．2 处理时间 272
11．4．3 窗口 273
11．5 聚合查询 275
11．5．1 分组聚合 275
11．5．2 窗口聚合 276
11．5．3 开窗聚合 279
11．5．4 应用实例――Top N 280
11．6 联结查询 284
11．6．1 常规联结查询 284
11．6．2 间隔联结查询 285
11．7 函数 286
11．7．1 系统函数 287
11．7．2 自定义函数 288
11．8 SQL客户端 294
11．9 连接到外部系统 296
11．9．1 Kafka 296
11．9．2 文件系统 298
11．9．3 JDBC 299
11．9．4 ElasticSearch 300
11．9．5 HBase 300
11．9．6 Hive 301
11．10 本章总结 304
第12章 Flink CEP 306
12．1 基本概念 306
12．1．1 CEP是什么 306
12．1．2 模式 307
12．1．3 应用场景 307
12．2 快速上手 308
12．2．1 需要引入的依赖 308
12．2．2 一个简单实例 308
12．3 模式API 311
12．3．1 个体模式 311
12．3．2 组合模式 316
12．3．3 模式组 319
12．3．4 匹配后跳过策略 320
12．4 模式的检测处理 321
12．4．1 将模式应用到流上 321
12．4．2 处理匹配事件 321
12．4．3 处理超时事件 324
12．4．4 处理迟到数据 329
12．5 CEP的状态机实现 330
12．6 本章总结 334
