Spark(一) 架構及生態

2019獨角獸企業重金招聘Python工程師標準>>> 通常當需要處理的數據量超過了單機尺度(比如我們的計算機有4GB的內存，而我們需要處理100GB以上的數據)這時我們可以選擇spark集羣進行計算，有時我們可能需要處理的數據量並不大，但是計算很複雜，需要大量的時間，這時我們也可以選擇利用spark集羣強大的計算資源，並行化地計算，其架構示意圖如下： Spark Core：包含Spark的基本功

>>阅读原文<<