Spark性能調優一:在實際項目中分配更多資源

分配更多資源:性能調優的王道,就是增加和分配更多的資源,性能和速度上的提升,是顯而易見的。基本上,在一定範圍之內,增加資源與性能的提升是成正比的。當完成了一個複雜的spark作業之後,進行性能調優的時候,首先第一步,就是要調節最優的資源配置。在這個基礎之上,如果你的Spark作業能夠分配的資源達到了你的能力範圍的頂端之後,無法再分配更多的資源了,公司資源也有限,那麼此時纔去考慮做後面的那些性能調優
相關文章
相關標籤/搜索