技术教育社区
www.teccses.org

构建Apache Kafka流数据应用

封面

作者:(阴)曼尼施·库马尔(ManishKu

页数:236

出版社:清华大学出版社

出版日期:2017

ISBN:9787302509363

电子书格式:pdf/epub/txt

内容简介

Apache Kafka是一个流行的分布式流平台,充当消息队列或企业消息传递系统。它用来发布和订阅数据流,并在发生错误时以容错方式处理它们。
本书共13章,全面介绍使用Apache Kafka等大数据工具设计和构建企业级流应用方面的内容,包括构建流应用程序的很好实践,并解决了一些常见的挑战,例如如何高效地使用Kafka轻松处理高容量数据。完成本书的学习后,读者能使用Kafka设计高效的流数据应用程序。
本书既适合Kafka初学者、大数据应用开发人员、大数据应用运维人员阅读,也适合高等院校与培训学校相关专业的师生教学参考。

作者简介

蒋守壮,现就职于金拱门(中国)有限公司,担任大数据卓越中心高级工程和平台经理,负责大数据平台的架构和产品研发。译者拥有多年丰富的大数据生产实战经验和产品研发能力,著有图书《基于Apache Kylin构建大数据分析平台》。

本书特色

Apache Kafka是一个流行的分布式流平台,它充当消息队列或企业消息系统。它允许你发布和订阅记录流,并以容错的方式处理它们。
本书是使用Apache Kafka集成其他大数据工具设计和构建企业级流应用程序的综合指南。它包括构建此类应用程序的佳实践,并解决了一些常见的挑战性问题,例如如何有效地使用Kafka来轻松处理高容量数据。本书首先介绍了消息系统类型,然后详细介绍了Apache Kafka及其内部细节。本书的第二部分介绍了如何使用各种框架和工具(如Apache Spark、Apache Storm等)设计流应用程序。一旦你掌握了基础知识,我们将带你理解Apache Kafka中更高级的概念,例如容量规划和安全性。
到本书结束时,你将掌握使用Apache Kafka时所需要的所有信息,并使用它设计高效的流数据应用。

目录

其他生产者配置 40

Java编程语言:Kafka生产者示例 42

常见的消息发布模式 44

最佳实践 46

总 结 48

第4章 深入研究Kafka消费者 49

Kafka消费者内部机制 50

理解Kafka消费者的职责 50

Kafka消费者API 52

消费者配置 52

订阅和轮询 54

提交和轮询 56

其他配置 59

利用Java实现Kafka消费者 60

利用Scala实现Kafka消费者 62

Rebalance listeners 64

常用的消息消费模式 64

最佳实践 67

总 结 68

第5章 集成Kafka 构建Spark Streaming应用 69

Spark介绍 70

Spark架构 70

Spark的核心 72

Spark生态系统 73

Spark Streaming 75

Receiver-based集成 75

Receiver-based approach的缺点 77

Receiver-based集成的Java示例 77

Receiver-based集成的Scala示例 79

Direct approach 80

Direct approach的Java示例 82

Direct approach的Scala示例 83

日志处理用例—欺诈IP检测 84

Maven 85

生产者 89

Reader属性 89

生产者代码 90

欺诈IP查找 92

暴露Hive表 93

Streaming代码 94

总 结 97

第6章 集成Kafka构建Storm应用 98

Apache Storm介绍 98

Storm集群架构 99

Storm应用程序的概念 100

Apache Heron介绍 101

Heron架构 102

Heron topology架构 103

集成Apache Kafka与Apache Storm – Java 104

示 例 105

集成Apache Kafka与Apache Storm – Scala 110

用例—使用Storm、Kafka和Hive处理日志 114

生产者 118

生产者代码 119

欺诈IP查找 122

Storm应用程序 123

运行项目 132

总 结 133

下载地址

立即下载

(解压密码:www.teccses.org)

Article Title:《构建Apache Kafka流数据应用》
Article link:https://www.teccses.org/937910.html