Spark的性能調優(1)

下面這些關於Spark的性能調優項，有的是來自官方的，有的是來自別的的工程師，有的則是我自己總結的。 基本概念和原則       首先，要搞清楚Spark的幾個基本概念和原則，否則系統的性能調優無從談起：       每一臺host上面可以並行N個worker，每一個worker下面可以並行M個executor，task們會被分配到executor上面 去執行。Stage指的是一組並行運行的tas

>>阅读原文<<