作者：（美）SamR.Alapati（山姆
页数：760
出版社：电子工业出版社
出版日期：2019
ISBN：9787121356698
电子书格式：pdf/epub/txt
内容简介
本书翻译自Sam R. Alapati 的Expert Hadoop Administration。Sam R. Alapati 是Sabre 公司的首席Hadoop 管理员，具有多年的Hadoop 运维管理经验。他希望通过本书，为Hadoop 集群开发与管理人员提供一些有益指导。从事Hadoop 的管理工作，首先要了解Hadoop 的架构，只进行单纯的操作并不能被称为合格的管理员。基于此，本书在介绍Hadoop 及其生态组件时，都会首先介绍其架构，以期读者能够在更高的层次认识管理工作。本书首先介绍了Hadoop 的整体架构及其部署与使用；然后着重介绍了两个重要的计算引擎MapReduce 与Spark ；接着介绍了Hadoop 的数据存储与安全、数据均衡等特性；很后则介绍了如何进行参数调优与故障排除。整个流程下来，读者能够建立起完整的关于Hadoop 管理的体系架构。
作者简介
Sam R. Alapati，从事Hadoop相关工作6年。目前在Sabre任Principal Hadoop Administrator，负责大规模Hadoop集群的日常管理工作，主要对多个关键数据科学、数据分析Hadoop作业工作流进行管理。Sam R. Alapati还是一位Oracle DBA专家，在过去14年间出版了18部广受好评的Oracle技术著作。
贝壳大数据架构团队，负责公司大数据存储平台、计算平台、实时数据流平台的架构、性能调优、研发等，提供高效的大数据olap引擎，以及大数据工具链组件研发，为公司提供稳定、高效、开放的大数据基础组件与基础平台。
本书特色
本书翻译自Sam R. Alapati 的Expert Hadoop Administration。Sam R. Alapati 是Sabre 公司的首席Hadoop 管理员，具有多年的Hadoop 运维管理经验。他希望通过本书，为Hadoop 集群开发与管理人员提供一些有益指导。从事Hadoop 的管理工作，首先要了解Hadoop 的架构，只进行单纯的操作并不能被称为合格的管理员。基于此，本书在介绍Hadoop 及其生态组件时，都会首先介绍其架构，以期读者能够在更高的层次认识管理工作。本书首先介绍了Hadoop 的整体架构及其部署与使用；然后着重介绍了两个重要的计算引擎MapReduce 与Spark ；接着介绍了Hadoop 的数据存储与安全、数据均衡等特性；最后则介绍了如何进行参数调优与故障排除。整个流程下来，读者能够建立起完整的关于Hadoop 管理的体系架构。
目录
第Ⅰ部分 Hadoop架构与Hadoop集群介绍
第1章 Hadoop与Hadoop环境介绍……………………………………………………………………. 3
Hadoop简介………………………………………………………………………………………………………….4
Hadoop 的特性………………………………………………………………………………………………5
Hadoop 与大数据…………………………………………………………………………………………..5
Hadoop 的典型应用场景………………………………………………………………………………..6
传统数据库系统…………………………………………………………………………………………….7
数据湖…………………………………………………………………………………………………………..9
大数据、数据科学和Hadoop ……………………………………………………………………….10
Hadoop集群与集群计算……………………………………………………………………………………… 11
集群计算…………………………………………………………………………………………………….. 11
Hadoop 集群………………………………………………………………………………………………..12
Hadoop组件和Hadoop生态………………………………………………………………………………….14
Hadoop管理员需要做些什么……………………………………………………………………………….16
Hadoop 管理—新的范式…………………………………………………………………………..17
关于Hadoop 管理你需要知道的…………………………………………………………………..18
Hadoop 管理员的工具集………………………………………………………………………………19
Hadoop 1和Hadoop 2的关键区别…………………………………………………………………………19
架构区别……………………………………………………………………………………………………..20
高可用性……………………………………………………………………………………………………..20
多计算引擎………………………………………………………………………………………………….21
xiv 目录
分离处理和调度…………………………………………………………………………………………..21
Hadoop 1 和Hadoop 2 中的资源分配……………………………………………………………22
分布式数据处理：MapReduce和Spark、Hive、Pig ………………………………………………22
MapReduce ………………………………………………………………………………………………….22
Apache Spark ……………………………………………………………………………………………….23
Apache Hive …………………………………………………………………………………………………24
Apache Pig …………………………………………………………………………………………………..24
数据整合：Apache Sqoop、Apache Flume和Apache Kafka ……………………………………25
Hadoop管理中的关键领域…………………………………………………………………………………..26
集群存储管理………………………………………………………………………………………………26
集群资源分配………………………………………………………………………………………………26
作业调度……………………………………………………………………………………………………..27
Hadoop 数据安全…………………………………………………………………………………………27
总结……………………………………………………………………………………………………………………28
第2章 Hadoop架构介绍………………………………………………………………………………… 31
Hadoop与分布式计算………………………………………………………………………………………….31
Hadoop 架构……………………………………………………………………………………………………….32
Hadoop 集群………………………………………………………………………………………………..33
主节点和工作节点……………………………………………………………………………………….33
Hadoop 服务………………………………………………………………………………………………..34
数据存储—Hadoop分布式文件系统…………………………………………………………………35
HDFS 特性………………………………………………………………………………………………….35
HDFS 架构………………………………………………………………………………………………….36
HDFS 文件系统…………………………………………………………………………………………..38
NameNode 操作…………………………………………………………………………………………..41
利用YARN（Hadoop操作系统）进行数据处理…………………………………………………..45
YARN 的架构………………………………………………………………………………………………46
ApplicationMaster 如何与ResourceManager 协作进行资源分配……………………..51
总结……………………………………………………………………………………………………………………54
第3章 创建和配置一个简单的Hadoop集群………………………………………………………. 55
Hadoop发行版本和安装类型……………………………………………………………………………….56
目录xv
Hadoop 发行版本…………………………………………………………………………………………56
Hadoop 安装类型…………………………………………………………………………………………57
设置一个伪分布式Hadoop集群……………………………………………………………………………58
满足操作系统的要求……………………………………………………………………………………58
修改内核参数………………………………………………………………………………………………59
设置SSH …………………………………………………………………………………………………….64
Java 需求……………………………………………………………………………………………………..65
安装Hadoop ………………………………………………………………………………………………..66
创建必要的Hadoop 用户……………………………………………………………………………..66
创建必要的目录…………………………………………………………………………………………..67
Hadoop初始配置…………………………………………………………………………………………………67
环境变量配置文件……………………………………………………………………………………….69
只读默认配置文件……………………………………………………………………………………….70
site 专用配置文件……………………………………………………..
