【Spark】电子书 - Spark大数据处理：技术、应用与性能优化(全)

书籍封面

书籍目录

前言

第1章 Spark简介

1.1 Spark是什么

1.2 Spark生态系统BDAS

1.3 Spark架构

1.4 Spark分布式架构与单机多核架构的异同

b'\xfe\xff\x001\x00.\x006\x00 g,z\xe0\x0f~\xd3'

第2章 Spark集群的安装与部署

2.1 Spark的安装与部署

2.2 Spark集群初试

b'\xfe\xff\x002\x00.\x003\x00 g,z\xe0\x0f~\xd3'

第3章 Spark计算模型

3.1 Spark程序模型

3.2 弹性分布式数据集

3.2.1 RDD简介

3.2.2 RDD与分布式共享内存的异同

3.2.3 Spark的数据存储

3.3 Spark算子分类及功能

3.3.1 Value型Transformation算子

3.3.2 Key-Value型Transformation算子

3.3.3 Actions算子

b'\xfe\xff\x003\x00.\x004\x00 g,z\xe0\x0f~\xd3'

b'\xfe\xff{,\x004z\xe0\x00 \x00S\x00p\x00a\x00r\x00k]\xe5Og:R6\x8b\xe6\x89\xe3'

4.1.1 Spark执行机制总览

4.2 Spark调度与任务分配模块

4.2.2 Spark应用程序内Job的调度⤊㸾੥湤潢樊਱〰㐠〠潢樊㰼ਯ䑥獴⁛㌴㈠〠删⽘奚‰‷㤲畬汝ਯ乥硴‱〰㔠〠刊⽐慲敮琠㄰〱‰⁒ਯ偲敶‱〰㌠〠刊⽔楴汥
4.2.3 Stage和TaskSetManager调度方式⤊㸾੥湤潢樊਱〰㔠〠潢樊㰼ਯ䑥獴⁛㌴㘠〠删⽘奚‰‷㤲畬汝ਯ偡牥湴‱〰ㄠ〠刊⽐牥瘠㄰〴‰⁒ਯ呩瑬攠⣾＀㐀⸀㈀⸀㐀 吀愀猀殌͞꘩ਾ㸊敮摯扪ਊ㄰〶‰扪਼㰊⽃潵湴‭㌊⽄敳琠嬳㔳‰⁒ 塙娠〠㜹㈠湵汬崊⽆楲獴‱〰㜠〠刊⽌慳琠㄰〹‰⁒ਯ乥硴‱〱〠〠刊⽐慲敮琠㤹㘠〠刊⽐牥瘠㄰〱‰⁒ਯ呩瑬攠⣾＀㐀⸀㌀ 匀瀀愀爀欀 䤀⼀佧㩒㘩ਾ㸊敮摯扪ਊ㄰〷‰扪਼㰊⽄敳琠嬳㔷‰⁒ 塙娠〠㜹㈠湵汬崊⽎數琠㄰〸‰⁒ਯ偡牥湴‱〰㘠〠刊⽔楴汥
4.3.1 序列化⤊㸾੥湤潢樊਱〰㠠〠潢樊㰼ਯ䑥獴⁛㌶ㄠ〠删⽘奚‰‷㤲畬汝ਯ乥硴‱〰㤠〠刊⽐慲敮琠㄰〶‰⁒ਯ偲敶‱〰㜠〠刊⽔楴汥
4.3.2 压缩

4.2.3 Stage和TaskSetManager调度方式

4.2.4 Task调度

4.3 Spark I/O机制

4.3.1 序列化

b'\xfe\xff\x004\x00.\x003\x00.\x002\x00 S\x8b\x7f'

4.3.3 Spark块管理

4.4 Spark通信模块

4.4.1 通信框架AKKA

4.4.2 Client、Master和Worker间的通信

4.5 容错机制

4.5.1 Lineage机制

4.5.2 Checkpoint机制

4.6 Shuffle机制

b'\xfe\xff\x004\x00.\x007\x00 g,z\xe0\x0f~\xd3'

第5章 Spark开发环境配置及流程

5.2 远程调试Spark程序

5.3 Spark编译

5.4 配置Spark源码阅读环境

b'\xfe\xff\x005\x00.\x005\x00 g,z\xe0\x0f~\xd3'

第6章 Spark编程实战

6.1 WordCount

6.2 Top K

6.3 中位数

6.4 倒排索引

6.5 CountOnce

6.6 倾斜连接

6.7 股票趋势预测

b'\xfe\xff\x006\x00.\x008\x00 g,z\xe0\x0f~\xd3'

7.1 Benchmark简介

7.1.1 Intel Hibench与Berkeley BigDataBench

7.1.2 Hadoop GridMix

7.1.3 Bigbench、BigDataBenchmark与TPC-DS

7.1.4 其他Benchmark

7.2 Benchmark的组成

7.2.1 数据集

7.2.3 度量指标

b'\xfe\xff\x007\x00.\x003\x00.\x003\x00 O\x7fu(\x00B\x00i\x00g\x00D\x00a\x00t\x00a\x00B\x00e\x00n\x00c\x00h)\n>>\nendobj\n\n1051 0 obj\n<>\nendobj\n\n1052 0 obj\n<>\nendobj\n\n1053 0 obj\n<>\nendobj\n\n1054 0 obj\n<>\nendobj\n\n1055 0 obj\n<>\nendobj\n\n1056 0 obj\n<>\nendobj\n\n1057 0 obj\n<>\nendobj\n\n1058 0 obj\n<>\nendobj\n\n1059 0 obj\n<>\nendobj\n\n1060 0 obj\n<>\nendobj\n\n1061 0 obj\n<>\nendobj\n\n1062 0 obj\n<>\nendobj\n\n1063 0 obj\n<>\nendobj\n\n1064 0 obj\n<>\nendobj\n\n1065 0 obj\n<>\nendobj\n\n1066 0 obj\n<>\nendobj\n\n1067 0 obj\n<>\nendobj\n\n1068 0 obj\n<>\nendobj\n\n1069 0 obj\n<>\nendobj\n\n1070 0 obj\n<>\nendobj\n\n1071 0 obj\n<>\nendobj\n\n1072 0 obj\n<>\nendobj\n\n1073 0 obj\n<>\nendobj\n\n1074 0 obj\n<>\nendobj\n\n1075 0 obj\n<>\nendobj\n\n1076 0 obj\n<>\nendobj\n\n1077 0 obj\n<>\nendobj\n\n1078 0 obj\n<>\nendobj\n\n1079 0 obj\n<>\nendobj\n\n1080 0 obj\n<>\nendobj\n\n1081 0 obj\n<>\nendobj\n\n1082 0 obj\n<>\nendobj\n\n1083 0 obj\n<>\nendobj\n\n1084 0 obj\n<>\nendobj\n\n1085 0 obj\n<>\nendobj\n\n1086 0 obj\n<>\nendobj\n\n1087 0 obj\n<>\nstream\nx\x9c\xb4\xbc\t|\x14U\xb6?~\xef\xad\xad\xf7\xae\xde\xf7tw:\x9d\xceJ\x93t:\x8b\x80\xb4@\x02" \x86\xc5\x80,!\x04DdGDDDDDv\x91E\x96\xc8`DD\x86\x81N\xc2&*\xea\xb8\xa2\xc6e\x10}\xfef\xdc\xc6\x85\xd1\x998>G}\x02\xe9\xca\xff\xdc\xaa\xee\x10|\xce\x9b\xf9\xfd\xde\xe7\xdf\x95\xea\xae\xba\xb5\xdd{\xd6\xef9\xf7T\x10F\x08i\xd1=\x88A\xbd\xaf\x1f\x15-\x9d\xf7\xd1\xb3\x1fB\xcb3\xb0\x8e\x9dz\xfbm\x81~\xb5\xee\x1a\x84\xb0\x15!\xdd\x1d\xd3\xe7\xddT\x8f\xf4]\x13\xba\xf6v\xfd\x03\xbfJ\xaaz\x9e\xc6.d\x17\xa2\t]\xfb\xd0\x19\xf4\x1c\xfa=:\x89\x8e\xa2\x83\xf0\x8d\xe0\x17\xa1\'\xd1\xf6\x1e\xdb@y\xb2\x18\x8e\xeeE\x87a\x7f\x0b\xda/\x1f\xdb\x02\xeba\xf4\xb8r7<\t\xcf\xc4{\xf0<\x16_\xf3\x8b\xfe\xdc\x03k;,3\xd00\x1c\xfc\x95\xfe\x1e\x80e/Z\x02[\xeb\xd1\nt\x17,ob\x17\x9a\x0c\xcb&\xf4\x1c\x99\x87\x962*x\xd6\xc9\xf4\xd97v='

b'\xfe\xff\x007\x00.\x004\x00 g,z\xe0\x0f~\xd3'

第8章 BDAS简介

8.1 SQL on Spark

b'\xfe\xff\x008\x00.\x001\x00.\x001\x00 O\x7fu(\x00S\x00p\x00a\x00r\x00k\x00 \x00S\x00Q\x00Lv\x84S\x9fV\xe0)\n>>\nendobj\n\n1055 0 obj\n<>\nendobj\n\n1056 0 obj\n<>\nendobj\n\n1057 0 obj\n<>\nendobj\n\n1058 0 obj\n<>\nendobj\n\n1059 0 obj\n<>\nendobj\n\n1060 0 obj\n<>\nendobj\n\n1061 0 obj\n<>\nendobj\n\n1062 0 obj\n<>\nendobj\n\n1063 0 obj\n<>\nendobj\n\n1064 0 obj\n<>\nendobj\n\n1065 0 obj\n<>\nendobj\n\n1066 0 obj\n<>\nendobj\n\n1067 0 obj\n<>\nendobj\n\n1068 0 obj\n<>\nendobj\n\n1069 0 obj\n<>\nendobj\n\n1070 0 obj\n<>\nendobj\n\n1071 0 obj\n<>\nendobj\n\n1072 0 obj\n<>\nendobj\n\n1073 0 obj\n<>\nendobj\n\n1074 0 obj\n<>\nendobj\n\n1075 0 obj\n<>\nendobj\n\n1076 0 obj\n<>\nendobj\n\n1077 0 obj\n<>\nendobj\n\n1078 0 obj\n<>\nendobj\n\n1079 0 obj\n<>\nendobj\n\n1080 0 obj\n<>\nendobj\n\n1081 0 obj\n<>\nendobj\n\n1082 0 obj\n<>\nendobj\n\n1083 0 obj\n<>\nendobj\n\n1084 0 obj\n<>\nendobj\n\n1085 0 obj\n<>\nendobj\n\n1086 0 obj\n<>\nendobj\n\n1087 0 obj\n<>\nstream\nx\x9c\xb4\xbc\t|\x14U\xb6?~\xef\xad\xad\xf7\xae\xde\xf7tw:\x9d\xceJ\x93t:\x8b\x80\xb4@\x02" \x86\xc5\x80,!\x04DdGDDDDDv\x91E\x96\xc8`DD\x86\x81N\xc2&*\xea\xb8\xa2\xc6e\x10}\xfef\xdc\xc6\x85\xd1\x998>G}\x02\xe9\xca\xff\xdc\xaa\xee\x10|\xce\x9b\xf9\xfd\xde\xe7\xdf\x95\xea\xae\xba\xb5\xdd{\xd6\xef9\xf7T\x10F\x08i\xd1=\x88A\xbd\xaf\x1f\x15-\x9d\xf7\xd1\xb3\x1fB\xcb3\xb0\x8e\x9dz\xfbm\x81~\xb5\xee\x1a\x84\xb0\x15!\xdd\x1d\xd3\xe7\xdd<\xfb\xb7es\xf6!\xa4_\x8f\x900\xf3\xe6YK\xa6\xdf\xf9\xe9\x7f\xeeB\xc8\xfa3R\xed:8c\xda\x94\xc6W\x0c\xfe\x00R\x1d\x81sP\xf9\x0ch0o|\xeb,\xec\xff\t\xf6sf\xcc\xbe\xed\x8e\xae\xb6\x13/!U\x12!\xc6\x923k\xee\xd4)\r\xbb\x87\xff\x01i_\xcc\x81\xfd\xbc\xd9S\xee\x98w\xeeA\xf5}\xc8\xf0\xfe08?0o\xee\xc2\xdb\xba\xca\xd1t\xd8\x9f%\xef/\x986\xef\xeb\xcfwM\x86}x~\xce1\x84\x99\x07\xf0\x83\x88C\x88\xdb\xc5\xc5\xe0\x8c\x87\x95_\xa2A\xd3\xc9\x1d*\x8ehy\x96\xd0\x0f\xdb\x05\x9f\xafa\x85s\xfa\xc3\x8a\x86_?\xe2z\x94@\x81\xae\x14wV\xaa\xc5\x06\xd5\x06RX\xdf\x1f+g\xa4?\xdc'

8.1.2 Spark SQL架构分析

8.1.3 Shark简介

8.1.4 Hive on Spark

b'\xfe\xff\x008\x00.\x001\x00.\x005\x00 g*geUg\x1b'

8.2 Spark Streaming

8.2.1 Spark Streaming简介

8.2.2 Spark Streaming架构

8.2.3 Spark Streaming原理剖析

8.2.4 Spark Streaming调优

8.2.5 Spark Streaming实例

8.3 GraphX

8.3.1 GraphX简介

b'\xfe\xff\x008\x00.\x003\x00.\x002\x00 \x00G\x00r\x00a\x00p\x00h\x00Xv\x84O\x7fu()\n>>\nendobj\n\n1068 0 obj\n<>\nendobj\n\n1069 0 obj\n<>\nendobj\n\n1070 0 obj\n<>\nendobj\n\n1071 0 obj\n<>\nendobj\n\n1072 0 obj\n<>\nendobj\n\n1073 0 obj\n<>\nendobj\n\n1074 0 obj\n<>\nendobj\n\n1075 0 obj\n<>\nendobj\n\n1076 0 obj\n<>\nendobj\n\n1077 0 obj\n<>\nendobj\n\n1078 0 obj\n<>\nendobj\n\n1079 0 obj\n<>\nendobj\n\n1080 0 obj\n<>\nendobj\n\n1081 0 obj\n<>\nendobj\n\n1082 0 obj\n<>\nendobj\n\n1083 0 obj\n<>\nendobj\n\n1084 0 obj\n<>\nendobj\n\n1085 0 obj\n<>\nendobj\n\n1086 0 obj\n<>\nendobj\n\n1087 0 obj\n<>\nstream\nx\x9c\xb4\xbc\t|\x14U\xb6?~\xef\xad\xad\xf7\xae\xde\xf7tw:\x9d\xceJ\x93t:\x8b\x80\xb4@\x02" \x86\xc5\x80,!\x04DdGDDDDDv\x91E\x96\xc8`DD\x86\x81N\xc2&*\xea\xb8\xa2\xc6e\x10}\xfef\xdc\xc6\x85\xd1\x998>G}\x02\xe9\xca\xff\xdc\xaa\xee\x10|\xce\x9b\xf9\xfd\xde\xe7\xdf\x95\xea\xae\xba\xb5\xdd{\xd6\xef9\xf7T\x10F\x08i\xd1=\x88A\xbd\xaf\x1f\x15-\x9d\xf7\xd1\xb3\x1fB\xcb3\xb0\x8e\x9dz\xfbm\x81~\xb5\xee\x1a\x84\xb0\x15!\xdd\x1d\xd3\xe7\xdd<\xfb\xb7es\xf6!\xa4_\x8f\x900\xf3\xe6YK\xa6\xdf\xf9\xe9\x7f\xeeB\xc8\xfa3R\xed:8c\xda\x94\xc6W\x0c\xfe\x00R\x1d\x81sP\xf9\x0ch0o|\xeb,\xec\xff\t\xf6sf\xcc\xbe\xed\x8e\xae\xb6\x13/!U\x12!\xc6\x923k\xee\xd4'

8.3.3 GraphX架构

8.3.4 运行实例

8.4 MLlib

8.4.1 MLlib简介

8.4.2 MLlib的数据存储

8.4.3 数据转换为向量（向量空间模型VSM）

8.4.4 MLlib中的聚类和分类

b"\xfe\xff\x008\x00.\x004\x00.\x005\x00 {\x97l\xd5^\x94u([\x9eO\x8b)\n>>\nendobj\n\n1076 0 obj\n<>\nendobj\n\n1077 0 obj\n<>\nendobj\n\n1078 0 obj\n<>\nendobj\n\n1079 0 obj\n<>\nendobj\n\n1080 0 obj\n<>\nendobj\n\n1081 0 obj\n<>\nendobj\n\n1082 0 obj\n<>\nendobj\n\n1083 0 obj\n<>\nendobj\n\n1084 0 obj\n<<\n/Dest [950 0 R /XYZ 0 792 null]\n/Next 1085 0 R\n/Parent 1080 0 R\n/Prev 1083 0 R\n/Title (\xfe\xff\x009\x00.\x002\x00.\x004\x00 ^\x8fR\x17S\x16N\x0eS\x8b\x7f)"

b'\xfe\xff\x008\x00.\x004\x00.\x006\x00 R'

b'\xfe\xff\x008\x00.\x005\x00 g,z\xe0\x0f~\xd3'

第9章 Spark性能调优

9.1 配置参数

9.2 调优技巧

9.2.1 调度与分区优化

9.2.2 内存存储优化

9.2.3 网络传输优化

b'\xfe\xff\x009\x00.\x002\x00.\x004\x00 ^\x8fR\x17S\x16N\x0eS\x8b\x7f'

9.2.5 其他优化方法

b'\xfe\xff\x009\x00.\x003\x00 g,z\xe0\x0f~\xd3'

下载地址