spark on yarn架構簡介

spark自從問世以來就收到了廣泛的關注,其熱度一直居高不下。spark的出現,爲實時數據的處理帶來了極大的方便,相比Hadoop,spark在某些情況下處理數據的速度要快於Hadoop,其主要原因有以下兩點: 1. spark中間的數據不落地,這是最主要的原因,中間的數據存放在內存中,這就極大的減少了磁盤的讀取以及IO的操作,所以,這也是spark適合迭代式工作的原因。 2. spark中DAG
相關文章
相關標籤/搜索