spark宽窄依赖（spark宽窄依赖有哪些）

## Spark 宽窄依赖### 简介在 Spark 中，RDD 之间的依赖关系分为两种：

窄依赖（Narrow Dependency）

和

宽依赖（Wide Dependency）

。区分这两种依赖关系对于理解 Spark 的 Stage 划分、任务调度以及容错机制至关重要。### 窄依赖#### 定义窄依赖是指父 RDD 的每个分区最多被子 RDD 的一个分区所依赖。这意味着在进行数据 shuffle 时，每个分区的数据都可以独立进行计算，无需等待其他分区的数据。#### 特点

数据本地性好：

数据不需要跨节点传输，可以充分利用数据本地性，提高计算效率。

容错性高：

如果某个分区的数据丢失，只需重新计算该分区即可，无需重新计算整个 RDD。

并行度高：

各个分区可以并行计算，提高计算速度。#### 常见算子

map

filter

flatMap

mapPartitions

union### 宽依赖#### 定义宽依赖是指父 RDD 的一个分区会被子 RDD 的多个分区所依赖，也称为 shuffle 依赖。这意味着在进行数据 shuffle 时，需要将相同 key 的数据汇聚到同一个分区进行计算，会导致数据跨节点传输。#### 特点

数据本地性差：

数据需要跨节点传输，会降低计算效率。

容错性较低：

如果某个分区的数据丢失，需要重新计算所有依赖于该分区的父 RDD 分区，代价较高。

并行度受限：

shuffle 操作需要等待所有数据都准备好才能进行，会降低计算速度。#### 常见算子

groupByKey

reduceByKey

join

distinct

repartition### 宽窄依赖对 Spark 的影响

Stage 划分：

Spark 会根据宽窄依赖关系将 DAG (Directed Acyclic Graph) 划分为不同的 Stage。窄依赖会在同一个 Stage 中计算，而宽依赖则会划分到不同的 Stage 中。

任务调度：

Spark 会优先调度父 Stage 的任务，等父 Stage 的任务完成后才会调度子 Stage 的任务。

容错机制：

窄依赖的容错成本较低，而宽依赖的容错成本较高。### 总结理解 Spark 中的宽窄依赖关系对于编写高效的 Spark 程序至关重要。在实际开发中，应该尽量使用窄依赖算子，避免使用宽依赖算子，以提高程序的性能和容错性。