
作者:李莉
页数:326
出版社:原子能出版社
出版日期:2019
ISBN:9787522102191
电子书格式:pdf/epub/txt
内容简介
《基于大数据深入解析Map Reduce架构设计与实现原理研究》初步研究了mapreduce的设计理念和编程模型,从源代码角度逐步解析rpc框架、客户端、jobtracker、tasktracker和task等mapreduce运行时环境的架构设计与实现原理,最后深入研究了hadoop的性能优化、安全机制、多用户作业调度器。希望助借此书,促进大数据MapReduce技术的发展。
目录
第一章 基于大数据MapReduce架构概述
第一节 大数据的基本概念
第二节 MapReduce设计理念与基本架构
第二章 MapReduce编程模型
第一节 MapReduce编程模型概述
第二节 JavaAPI解析
第三节 非Java API解析
第四节 Hadoop工作流
第三章 MapReduce文件系统技术的研究
第一节 分布式文件系统
第二节 MapReduce模型
第三节 MapReduce使用算法
第四节 MapReduce复合键值对的使用
第五节 链接MapReduce作业
第六节 MapReduce递归扩展与集群算法
第四章 Hadoop RPC框架结构
第一节 Hadoop RPC基本框架分析
第二节 MapReduce通信协议分析
第五章 作业提交与初始化过程分析
第一节 作业提交与初始化过程
第二节 Hadoop DistributedCache原理分析
第六章 JobTracker内部实现分析
第一节 JobTracker概述
第二节 JobTracker心跳接收与应答
第三节 Job和Task运行时信息维护
第四节 容错机制
第五节 任务推测执行原理
第六节 Hadoop资源管理
第七章 TaskTracker内部实现剖析
第一节 TaskTracker概述
第二节 TaskTracker心跳机制
第三节 TaskTracker行为分析
第四节 TaskTracker作业目录管理
第五节 TaskTracker启动新任务
第八章 Task运行过程分析
第一节 Task运行过程概述,
第二节 基本数据结构和算法
第三节 MapTask内部实现
第四节 Reduce Task内部实现
第五节 MapReduce Task优化
第九章 Hadoop性能调优
第一节 从管理员角度进行调优
第二节 从用户角度进行调优
第三节 GeoHash空间索引分析
第四节 空间大数据存储和索引表构建
第五节 空间查询实验及结果分析
第十章 Hadoop多用户作业调度器
第一节 多用户调度器产生背景与HOD作业调度
第二节 Capacity Scheduler实现
第三节 Fair Scheduler实现
第十一章 Hadoop安全机制
第一节 Hadoop安全机制概述
第二节 Hadoop安全机制基础知识
第三节 Hadoop安全机制实现
第四节 Hadoop安全机制应用场景总结
参考文献
第一节 大数据的基本概念
第二节 MapReduce设计理念与基本架构
第二章 MapReduce编程模型
第一节 MapReduce编程模型概述
第二节 JavaAPI解析
第三节 非Java API解析
第四节 Hadoop工作流
第三章 MapReduce文件系统技术的研究
第一节 分布式文件系统
第二节 MapReduce模型
第三节 MapReduce使用算法
第四节 MapReduce复合键值对的使用
第五节 链接MapReduce作业
第六节 MapReduce递归扩展与集群算法
第四章 Hadoop RPC框架结构
第一节 Hadoop RPC基本框架分析
第二节 MapReduce通信协议分析
第五章 作业提交与初始化过程分析
第一节 作业提交与初始化过程
第二节 Hadoop DistributedCache原理分析
第六章 JobTracker内部实现分析
第一节 JobTracker概述
第二节 JobTracker心跳接收与应答
第三节 Job和Task运行时信息维护
第四节 容错机制
第五节 任务推测执行原理
第六节 Hadoop资源管理
第七章 TaskTracker内部实现剖析
第一节 TaskTracker概述
第二节 TaskTracker心跳机制
第三节 TaskTracker行为分析
第四节 TaskTracker作业目录管理
第五节 TaskTracker启动新任务
第八章 Task运行过程分析
第一节 Task运行过程概述,
第二节 基本数据结构和算法
第三节 MapTask内部实现
第四节 Reduce Task内部实现
第五节 MapReduce Task优化
第九章 Hadoop性能调优
第一节 从管理员角度进行调优
第二节 从用户角度进行调优
第三节 GeoHash空间索引分析
第四节 空间大数据存储和索引表构建
第五节 空间查询实验及结果分析
第十章 Hadoop多用户作业调度器
第一节 多用户调度器产生背景与HOD作业调度
第二节 Capacity Scheduler实现
第三节 Fair Scheduler实现
第十一章 Hadoop安全机制
第一节 Hadoop安全机制概述
第二节 Hadoop安全机制基础知识
第三节 Hadoop安全机制实现
第四节 Hadoop安全机制应用场景总结
参考文献















