spark源碼分析之窄依賴和寬依賴篇

窄依賴：子RDD的partition和父RDD的partition是一一對應的。（join操作除外，此操作是多對一） 注意點： 若parent RDD有已知的partitioner（若已知的partitioner相同，兩個RDD會協同，那麼就能避免網絡傳輸，兩個parent RDD 的相同partition會在同一個節點上），只能產生窄依賴，如上圖的「join with inputs co-par

>>阅读原文<<