大数据处理之道pdf 高清完好版 最新更新|软件分类|软件专题|手机版|论坛转贴|软件发布

您当时所在位置:主页教程下载数据库类 → 大数据处理之道pdf 高清完好版

大数据处理之道pdf 高清完好版

大数据处理之道下载|

大数据处理之道pdf

版别

  • 软件巨细:104.9M
  • 软件言语:中文
  • 软件类型:国产软件/数据库类
  • 软件授权:免费软件
  • 更新时间:2019-06-18 09:57
  • 软件等级:4星
  • 运用渠道:WinXP, Win7, Win8, Win10
  • 软件官网:

软件介绍人气软件精品引荐相关文章网友谈论下载地址

小编为您引荐: 大数据处理之道 大数据丛书 大数据

大数据处理之道pdf高清完好版是十分专业的一本大数据处理技能丛书,在这儿不只有具体的大数据年代剖析,还有大数据处理运用的技能剖析,以及实例剖析,这本书每一章节都有小结,欢迎有需求的用户来宝马会网址下载!

关于本书

本书掩盖了当时大数据处理范畴的抢手技能,包含Hadoop、Spark、Storm、Dremel、Drill等,具体剖析了各种技能的运用场景和优缺陷;一起论述了大数据下的日志剖析体系,要点讲解了ELK日志处理计划;最终剖析了大数据处理技能的开展趋势。本书选用诙谐的表述风格,使读者简单了解、轻松把握;要点从各种技能的来源、规划思维、架构等方面论述,以协助读者从本源上悟出大数据处理之道。

大数据处理之道下载

作者简介

何金池 IBM高档软件工程师,首要从事高功能核算和大数据范畴研制作业,了解现在大数据处理范畴的各项抢手技能,擅长于大数据环境下的日志剖析和处理,具有多年的一线软件研制测验经历。

前语

近年来,“大数据”已然成为IT界如火如荼的词,与“云核算” 齐头并进,成为带动IT职业开展的两架高速列车。尤其在物联网快速开展的年代,数据现已被称之为新的资源,或许“金子”,支撑物联网开展的柱石。

那么怎么把“死”的数据,变成真实有用的“资源”,最终再变成活生生的“金子”,便成为近年来IT界人士考虑的问题。所以,一时之间,各种大数据处理技能如井喷一般出现出来。Hadoop, Spark, Storm, Dremel/Drill等大数据解决计划力争上游的展现出来,需求阐明的是,这儿一切的计划不是一种技能,而是数种,乃至数十种技能的组合,就拿Hadoop来说,Hadoop仅仅带头大哥,后边的要害的小弟还有:MapReduce, HDFS, Hive, Hbase, Pig, ZooKeeper等等,大有“大仙过海,各显神通”的气势和局面。

榜首部分,本书横向总结性论述了各种大数据处理技能,要点从缘起缘落、规划思维、构架原理等视点剖析了各种技能,剖析了各个技能的优缺陷和适用场景。本书并不触及软件的装置等,由于怎么装置和运用,在网络上一搜一大堆,着实没有必要糟蹋读者的时间和金钱。在这部分中,榜首篇叙述了Hadoop技能阵营,第二篇,叙述了Spark新起之秀,第三篇叙述了其他大数据处理技能,如Storm, Dremel/Drill等。在第二部分中,本书论述了大数据场景下的日志剖析技能。在大数据年代,日志剖析计划也出现出了遍地开花的现象。假如将大数据处理体系比作一个或许抱病的人,日志剖析便是担任治病的医师,要想让大数据处理健康平稳,日志剖析和监控十分重要。本书要点论述了日志处理技能中的最如日中天的计划:ELK。最终部分展望了大数据处理技能的开展趋势,怎奈大数据处理技能开展太快,数据量也将会越来越大,技能的改造也将在所难免。

作为大数据研制人员,时间坚持学习新技能,方能立于技能

大数据处理之道目录

0“张狂”的大数据 1

0.1大数据年代 1

0.2数据便是“金库” 3

0.3让大数据“活”起来 4

第1篇Hadoop兵营

1 Hadoop一石激起千层浪 7

1.1Hadoop诞生——不只仅是玩具 7

1.2Hadoop开展——各路英豪集结 8

1.3Hadoop和它的小伙伴们 10

1.4Hadoop运用场景 12

1.5小结 13

2 MapReduce奠定柱石 14

2.1MapReduce规划思维 14

2.2MapReduce运转机制 19

2.2.1MapReduce的组成 19

2.2.2MapReduce作业运转流程 20

2.2.3JobTracker解剖 26

2.2.4TaskTracker解剖 34

2.2.5失利场景剖析 42

2.3MapReduce实例剖析 43

2.3.1运转WordCount程序 44

2.3.2WordCount源码剖析 45

2.4小结 48

3 分布式文件体系 49

3.1群雄并起的DFS 49

3.2HDFS文件体系 51

3.2.1HDFS 规划与架构 52

3.2.2HDFS 操作与API 56

3.2.3HDFS的长处及适用场景 60

3.2.4HDFS的缺陷及改善战略 61

3.3小结 62

4 Hadoop体系的“四剑客” 63

4.1数据仓库东西Hive 63

4.1.1Hive缘起何处 63

4.1.2Hive和数据库的差异 65

4.1.3Hive规划思维与架构 66

4.1.4适用场景 74

4.2大数据仓库HBase 74

4.2.1HBase因何而生 74

4.2.2HBase的规划思维和架构 77

4.2.3HBase优化技巧 84

4.2.4HBase和Hive的差异 86

4.3Pig编程言语 87

4.3.1Pig的缘由 87

4.3.2Pig的根本架构 88

4.3.3Pig与Hive的比照 90

4.3.4Pig的履行方式 90

4.3.5Pig Latin言语及其运用 91

4.4协管员ZooKeeper 96

4.4.1ZooKeeper是什么 96

4.4.2ZooKeeper的效果 97

4.4.3ZooKeeper的架构 98

4.4.4ZooKeeper的数据模型 100

4.4.5ZooKeeper的常用接口及操作 102

4.4.6ZooKeeper的运用场景剖析 105

4.5小结 108

5 Hadoop资源办理与调度 110

5.1Hadoop调度机制 110

5.1.1FIFO 111

5.1.2核算才干调度器 111

5.1.3公正调度器 113

5.2Hadoop YARN资源调度 114

5.2.1YARN发生的布景 114

5.2.2Hadoop YARN的架构 116

5.2.3YARN的运作流程 118

5.3Apache Mesos资源调度 120

5.3.1Apache Mesos的原因 120

5.3.2Apache Mesos的架构 121

5.3.3根据Mesos的Hadoop 123

5.4Mesos与YARN比照 127

5.5小结 128

6 Hadoop集群办理之道 129

6.1Hadoop 集群办理与保护 129

6.1.1Hadoop集群办理 129

6.1.2Hadoop集群保护 131

6.2Hadoop 集群调优 132

6.2.1Linux文件体系调优 132

6.2.2Hadoop通用参数调整 133

6.2.3HDFS相关装备 133

6.2.4MapReduce相关装备 134

6.2.5Map使命相关装备 136

6.2.6HBase建立重要的HDFS参数 137

6.3Hadoop 集群监控 137

6.3.1Apache Ambari监控 137

6.3.2Ganglia监控Hadoop 138

6.4小结 138

第2篇Spark燎原之火

7 Spark宝刀出鞘 141

7.1Spark的历史渊源 141

7.1.1Spark的诞生 141

7.1.2Spark的开展 142

7.2Spark和Hadoop MapReduce比照 143

7.3Spark的适用场景 145

7.4Spark的硬件装备 146

7.5Spark架构 147

7.5.1Spark生态架构 147

7.5.2Spark运转架构 149

7.6小结 151

8 Spark中心RDD 153

8.1RDD简介 153

8.1.1什么是RDD 153

8.1.2为什么需求RDD 154

8.1.3RDD本体的规划 154

8.1.4RDD与分布式同享内存 155

8.2RDD的存储等级 155

8.3RDD依靠与容错 157

8.3.1RDD依靠联络 157

8.3.2RDD容错机制 160

8.4RDD操作与接口 161

8.4.1RDD Transformation操作与接口 162

8.4.2RDD Action操作与接口 164

8.5RDD编程示例 165

8.6小结 166

9 Spark运转方式和流程 167

9.1Spark运转方式 167

9.1.1Spark的运转方式列表 167

9.1.2Local方式 168

9.1.3Standalone方式 169

9.1.4Spark on Mesos方式 171

9.1.5Spark on YARN 方式 173

9.1.6Spark on EGO 方式 175

9.2Spark作业流程 177

9.2.1YARN-Client方式的作业流程 178

9.2.2YARN-Cluster方式的作业流程 179

9.3小结 181

10 Shark和Spark SQL 183

10.1从Shark到Spark SQL 183

10.1.1Shark的撤离是进攻 183

10.1.2Spark SQL接力 185

10.1.3Spark SQL与一般SQL的差异 186

10.2Spark SQL运用架构 187

10.3Spark SQL之DataFrame 188

10.3.1什么是DataFrame 188

10.3.2DataFrame的创立 188

10.3.3DataFrame的运用 190

10.4Spark SQL运转进程剖析 190

10.5小结 192

11 Spark Streaming流数据处理新贵 193

11.1Spark Streaming是什么 193

11.2Spark Streaming的架构 194

11.3Spark Streaming的操作 195

11.3.1Spark Streaming的Transformation操作 196

11.3.2Spark Streaming的Window操作 197

11.3.3Spark Streaming的Output操作 198

11.4Spark Streaming功能调优 198

11.5小结 200

12 Spark GraphX图核算体系 201

12.1图核算体系 201

12.1.1图存储方式 202

12.1.2图核算方式 203

12.2Spark GraphX的结构 206

12.3Spark GraphX的存储方式 207

12.4Spark GraphX的图运算符 208

12.5小结 211

13 Spark Cluster办理 212

13.1Spark Cluster布置 212

13.2Spark Cluster办理与监控 213

13.2.1内存优化机制 213

13.2.2Spark日志体系 213

13.3Spark 高可用性 215

13.4小结 216

第3篇其他大数据处理技能

14 专为流数据而生的Storm 218

14.1Storm原因 218

14.2Storm的架构与组件 220

14.3Storm的规划思维 222

14.4Storm与Spark的差异 224

14.5Storm的适用场景 225

14.6Storm的运用 226

14.7小结 227

15 Dremel和Drill 228

15.1Dremel和Drill的历史布景 228

15.2Dremel的原理与运用 230

15.3Drill的架构与流程 232

15.4Dremel和Drill的适用场景与运用 234

15.5小结 234

第4篇大数据下的日志剖析体系

16 日志剖析解决计划 236

16.1百家争鸣的日志处理技能 236

16.2日志处理计划ELK 238

16.2.1ELK的三大金刚 238

16.2.2ELK的架构 240

16.2.3ELK的组网方式 242

16.3Logstash日志搜集解析 245

16.3.1Input Plugins及运用示例 246

16.3.2Filter Plugins及运用示例 248

16.3.3Output Plugins及运用示例 249

16.4ElasticSearch存储与查找 250

16.4.1ElasticSearch的首要概念 251

16.4.2ElasticSearch Rest API 252

16.5Kibana展现 253

16.6小结 255

17 ELK集群布置与运用 256

17.1ELK集群布置与优化 256

17.1.1ELK HA集群布置 256

17.1.2ElasticSearch优化 257

17.2怎么开发自己的插件 259

17.3ELK在大数据运维体系中的运用 261

17.4ELK实战运用 262

17.4.1ELK监控Spark集群 262

17.4.2ELK监控体系资源状况 263

17.4.3ELK辅佐日志办理和毛病排查 263

17.5小结 264

第5篇数据剖析技能远景展望

18 大数据处理的考虑与展望 266

18.1大数据年代的考虑 266

18.2大数据处理技能的开展趋势 267

18.3小结 270

更多>>软件截图

引荐软件

其他版别下载

精品引荐

相关文章

下载地址Android版iPhone版Mac版iPad版

  • 大数据处理之道pdf 高清完好版

检查一切谈论>>网友谈论

宣布谈论

(您的谈论需求通过审阅才干显现) 网友粉丝QQ群号:203046401

检查一切0条谈论>>

更多>>猜你喜爱