Spark中的寬依賴和窄依賴

1.寬依賴和窄依賴的原理 http://shiyanjun.cn/archives/744.html   窄依賴的原理：是指父RDD的分區只被子RDD的一個分區使用。   特點： （1）窄依賴允許在一個集羣節點上以流水線的方式（pipeline）計算所有父分區。例如，逐個元素地執行map、然後filter操作； （2）窄依賴能夠更有效地進行失效節點的恢復，即只需重新計算丟失RDD分區的父分區，而且

>>阅读原文<<