Java架構師成長路線-分佈式計算框架簡介

魯班學院java架構師成長路線

相信分佈式計算框架已經也深深烙印在每一個程序員的腦海裏面，今天就由小編帶領你們從新認識分佈式計算框架，如下是我收集的SPARK分佈式計算框架、以及框架的介紹。

1、Spark分佈式計算框架執行任務介紹：
在Hadoop框架出現的時候，Hadoop也提出了基於數據流的實現是在將來的發展中，結合當今研究方向，分佈式框架的發展方向會在如下幾種展開：
1） 分佈式計算框架會在架構上進行更近一步的優化，在架構上更加清晰，Hadoop在第二代推出分佈式計算框架YARN則是對Hadoop的架構進行優化。經過良好的架構設計讓框架更加容易維護，計算過程更加清晰；
2) 分佈式計算框架的基礎架構也會必定程度上展開研究，用來支撐上層的分佈式計算過框架。在大數據計算中，分佈在不一樣機器上的數據的傳輸花費較大的代價，因此基礎架構的發展也會促進分佈式計算框架性能上的提高；

2、框架介紹：
Spark[8]是最近很是流行、使用Scala編寫、基於RDD[9]（Resilient Distributed Datasets）彈性分佈式內存數據集的分佈式計算框架。該框架解決了在Hadoop計算框架中，在執行迭代性質的任務效率比較低的弊端，除此以外該框架還提供了任務執行期間的任務的交互查詢，增長了任務的可控性。相比Hadoop，Spark除了提供計算的方法調用以外，還提供了更多的操做。
本文對當前互聯網中現有的比較流行的分佈式計算框架進行了系統的回顧，但願能夠會讓你們之後的分佈式計算框架，若是你的學習是個「付出多，收穫少」的過程，那多是由於你方向走錯了，或者方向走錯了，這就須要咱們對自身學習狀況有一個詳細的規劃了，只有方向走對了，那學習纔有可能作到事半功倍，減小沒必要要的低品質努力。