作者：沈纲祥主编
页数：160
出版社：科学出版社
出版日期：2018
ISBN：9787030566188
电子书格式：pdf/epub/txt
内容简介
沈纲祥主编的《Hadoop云技术从入门到精通（普通高等教育十三五规划教材）》分10章，全面介绍了Hadoop云技术及其在光网络研究方面的真实案例。读者通过本书的学习，可以掌握搭建及维护Hadoop平台的相关知识和技术。本书可作为高等学校计算机及其相关专业的本科生、研究生大数据课程教材，也可作为Hadoop爱好者以及Hadoop企业运维人员的学习参考书。
本书特色
本书分10章，全面介绍了Hadoop云技术及其在光网络研究方面的真实案例。读者通过本书的学习，可以掌握搭建及维护Hadoop平台的相关知识和技术。
目录
第1章 云计算概述
1.1 云计算的定义
1.1.1 灵活资源分配
1.1.2 按需收费
1.1.3 虚拟化
1.1.4 网络化
1.1.5 高可靠性
1.2 云计算的分类
1.2.1 按技术路线分类
1.2.2 按服务对象分类
1.2.3 按资源封装的层次分类
1.3 云计算发展简介
1.3.1 发展历程
1.3.2 国内现状
1.3.3 国外现状
1.4 云计算技术
1.4.1 编程模式
1.4.2 虚拟化技术
1.4.3 存储技术
1.4.4 云计算平台管理技术
1.5 小结
第2章 Hadoop简介
2.1 Hadoop起源
2.2 Hadoop发展历程
2.3 Apache Had00p项目及其结构
2.4 Hadoop常用项目介绍
2.5 Hadoop的衍化版本
2.5.1 Cloudem
2.5.2 Transwarp
2.6 小结
第3章 MapReduce
3.1 MapReduce简介
3.2 MapReduce架构
3.3 MapReduce的工作机制
3.3.1 MapReduce作业运行机制
3.3.2 MapReduce容错机制
3.4 MapReduce编程实例
3.5 第二代计算框架YARN
3.5.1 YARN的设计
3.5.2 YARN的绀件
3.6 小结
第4章 Hadoop分布式文件系统
4.1 HDFS简介
4.2 HDFS架构
4.3 HDFS容错机制
4.4 HDFS备份规则
4.4.1 放置策略
4.4.2 流水式复制
4.5 HDFS权限管理
4.5.1 HDFS用户身份认证
4.5.2 超级用户
4.5.3 文件权限管理
4.6 小结
第5章 Hadoop案例分析
5.1 互联网企业——Yahoo、百度、阿里、腾讯
5.1.1 Yahoo—Hortonworks
5.1.2 百度——百度云
5.1.3 阿里巴巴——阿里云
5.1.4 腾讯——腾讯云
5.2 智慧城市——贵阳
5.3 电子商务——京东
5.4 国内外旅游业
5.4.1 旅游搜索网站FareCast
5.4.2 途牛旅游网
5.5 小结
第6章 Hadoop集群实验
6.1 安装VMware Esxi 6.5平台
6.2 安装Ubuntu 16.04系统
6.3 Hadoop系统运行环境
6.3.1 设置主机名
6.3.2 设置网络
6.3.3 安装JDK
6.3.4 配置系统环境变量
6.3.5 配置SSH免密登录
6.4 Hadoop集群部署
6.4.1 单节点模式Hadoop系统安装
6.4.2 伪分布模式Hadoop系统安装
6.4.3 完全分布式Hadoop系统安装
6.4.4 启动及测试Hadoop集群
6.5 HDFs命令行
6.6 Hive部署
6.6.1 MySQL安装
6.6.2 Hive安装
6.6.3 启动及测试Hive
6.7 ZooKeeper和HBase部署
6.7.1 ZooKeeper安装
6.7.2 启动ZooKeeper
6.7.3 HBase部署
6.7.4 启动HBase
6.8 Eclipse环境
6.8.1 配置工作环境
6.8.2 开发初步
6.8.3 运行WordCount程序
6.9 Hadoop集群运维
6.10 小结
第7章 Hadoop系统的优化
7.1 影响Hadoop系统性能的因素
7.2 监测工具
7.2.1 Chukwa
7.2.2 Canglia收集器
7.2.3 Nagios
7.3 基于I生能基线的Hadoop系统性能优化
7.3.1 调优过程
7.3.2 甄别资源瓶颈
7.4 MapReduce调优
7.4.1 Map任务调优
7.4.2 Reduce任务调优
7.5 常用调优手段
7.5.1 面向MapReduce应用程序的调优手段
7.5.2 面向作业的调优手段
7.5.3 面向Hadoop系统参数的调优手段
7.6 小结
第8章 Hadoop在光网络优化中的应用
8.1 装箱问题
8.2 光网络中的装箱问题
8.3 WDM光网络
8.3.1 路由和波长分配
8.3.2 绿色光网络的优化设计
8.4 弹性光网络
8.4.1 基于SBPP共享保护策略的路由和频谱分配
8.4.2 基于自适应FEH分配策略的路由和频谱分配
8.5 Hadoop平台执行多次业务打乱策略
8.6 结果分析
8.6.1 路由和波长分配
8.6.2 绿色光网络的优化设计
8.6.3 基于SBPP共享保护策略的路南和频谱分配
8.6.4 基于自适应FEC分配策略的路南和频谱分配
8.7 小结
第9章 Hadoop的JavaAPI
9.1 HadoopAPI中常用包
9.1.1 org.apache.Hadoop.conf包
9.1.2 org.apache.Hadoop.fs包
9.2 MapRedlace API
9.2.1 Mapper类
9.2.2 Reducer类
9.2.3 Driver
9.3 HDFSAPl
9.3.1 获取文件系统
9.3.2 创建文件或文件目录
9.3.3 删除文件或文件目录
9.3.4 写入和读取数据
9.3.5 上传和下载文件
9.3.6 显示HDFS中的文件
9.3.7 在Hadoop的环境之外配置文件系统
9.4 小结
第10章 Hadoop系统微型化和界面可视化
10.1 微型化
10.1.1 平台信息
10.1.2 性能
10.2 可视化
10.2.1 HDFS文件系统树区域
10.2.2 命令控制区域
10.2.3 命令行
10.2.4 任务状态可视化
10.2.5 菜单栏
10.2.6 云平台软件的使用
10.3 小结
附录 缩略语英汉对照表
参考文献
1.1 云计算的定义
1.1.1 灵活资源分配
1.1.2 按需收费
1.1.3 虚拟化
1.1.4 网络化
1.1.5 高可靠性
1.2 云计算的分类
1.2.1 按技术路线分类
1.2.2 按服务对象分类
1.2.3 按资源封装的层次分类
1.3 云计算发展简介
1.3.1 发展历程
1.3.2 国内现状
1.3.3 国外现状
1.4 云计算技术
1.4.1 编程模式
1.4.2 虚拟化技术
1.4.3 存储技术
1.4.4 云计算平台管理技术
1.5 小结
第2章 Hadoop简介
2.1 Hadoop起源
2.2 Hadoop发展历程
2.3 Apache Had00p项目及其结构
2.4 Hadoop常用项目介绍
2.5 Hadoop的衍化版本
2.5.1 Cloudem
2.5.2 Transwarp
2.6 小结
第3章 MapReduce
3.1 MapReduce简介
3.2 MapReduce架构
3.3 MapReduce的工作机制
3.3.1 MapReduce作业运行机制
3.3.2 MapReduce容错机制
3.4 MapReduce编程实例
3.5 第二代计算框架YARN
3.5.1 YARN的设计
3.5.2 YARN的绀件
3.6 小结
第4章 Hadoop分布式文件系统
4.1 HDFS简介
4.2 HDFS架构
4.3 HDFS容错机制
4.4 HDFS备份规则
4.4.1 放置策略
4.4.2 流水式复制
4.5 HDFS权限管理
4.5.1 HDFS用户身份认证
4.5.2 超级用户
4.5.3 文件权限管理
4.6 小结
第5章 Hadoop案例分析
5.1 互联网企业——Yahoo、百度、阿里、腾讯
5.1.1 Yahoo—Hortonworks
5.1.2 百度——百度云
5.1.3 阿里巴巴——阿里云
5.1.4 腾讯——腾讯云
5.2 智慧城市——贵阳
5.3 电子商务——京东
5.4 国内外旅游业
5.4.1 旅游搜索网站FareCast
5.4.2 途牛旅游网
5.5 小结
第6章 Hadoop集群实验
6.1 安装VMware Esxi 6.5平台
6.2 安装Ubuntu 16.04系统
6.3 Hadoop系统运行环境
6.3.1 设置主机名
6.3.2 设置网络
6.3.3 安装JDK
6.3.4 配置系统环境变量
6.3.5 配置SSH免密登录
6.4 Hadoop集群部署
6.4.1 单节点模式Hadoop系统安装
6.4.2 伪分布模式Hadoop系统安装
6.4.3 完全分布式Hadoop系统安装
6.4.4 启动及测试Hadoop集群
6.5 HDFs命令行
6.6 Hive部署
6.6.1 MySQL安装
6.6.2 Hive安装
6.6.3 启动及测试Hive
6.7 ZooKeeper和HBase部署
6.7.1 ZooKeeper安装
6.7.2 启动ZooKeeper
6.7.3 HBase部署
6.7.4 启动HBase
6.8 Eclipse环境
6.8.1 配置工作环境
6.8.2 开发初步
6.8.3 运行WordCount程序
6.9 Hadoop集群运维
6.10 小结
第7章 Hadoop系统的优化
7.1 影响Hadoop系统性能的因素
7.2 监测工具
7.2.1 Chukwa
7.2.2 Canglia收集器
7.2.3 Nagios
7.3 基于I生能基线的Hadoop系统性能优化
7.3.1 调优过程
7.3.2 甄别资源瓶颈
7.4 MapReduce调优
7.4.1 Map任务调优
7.4.2 Reduce任务调优
7.5 常用调优手段
7.5.1 面向MapReduce应用程序的调优手段
7.5.2 面向作业的调优手段
7.5.3 面向Hadoop系统参数的调优手段
7.6 小结
第8章 Hadoop在光网络优化中的应用
8.1 装箱问题
8.2 光网络中的装箱问题
8.3 WDM光网络
8.3.1 路由和波长分配
8.3.2 绿色光网络的优化设计
8.4 弹性光网络
8.4.1 基于SBPP共享保护策略的路由和频谱分配
8.4.2 基于自适应FEH分配策略的路由和频谱分配
8.5 Hadoop平台执行多次业务打乱策略
8.6 结果分析
8.6.1 路由和波长分配
8.6.2 绿色光网络的优化设计
8.6.3 基于SBPP共享保护策略的路南和频谱分配
8.6.4 基于自适应FEC分配策略的路南和频谱分配
8.7 小结
第9章 Hadoop的JavaAPI
9.1 HadoopAPI中常用包
9.1.1 org.apache.Hadoop.conf包
9.1.2 org.apache.Hadoop.fs包
9.2 MapRedlace API
9.2.1 Mapper类
9.2.2 Reducer类
9.2.3 Driver
9.3 HDFSAPl
9.3.1 获取文件系统
9.3.2 创建文件或文件目录
9.3.3 删除文件或文件目录
9.3.4 写入和读取数据
9.3.5 上传和下载文件
9.3.6 显示HDFS中的文件
9.3.7 在Hadoop的环境之外配置文件系统
9.4 小结
第10章 Hadoop系统微型化和界面可视化
10.1 微型化
10.1.1 平台信息
10.1.2 性能
10.2 可视化
10.2.1 HDFS文件系统树区域
10.2.2 命令控制区域
10.2.3 命令行
10.2.4 任务状态可视化
10.2.5 菜单栏
10.2.6 云平台软件的使用
10.3 小结
附录 缩略语英汉对照表
参考文献
