Spark存儲體系

Spark存儲體系 無論是spark的任務提交還是，任務執行，在這過程中始終離不開spark的存儲體系。spark爲了避免hadoop讀寫磁盤的IO操作成爲性能瓶頸，優先將配置信息、計算結果等數據存入內存，當內存存儲不下的時候，可選擇性的將計算結果輸出到磁盤，爲了保證性能，默認都是存儲到內存的，這樣極大的提高了spark的計算效率。存儲體系中核心模塊就是bolckmanager。在blockman

>>阅读原文<<