使用JMC工具對spark 程序調優(一)

spark調優是一個頭疼的事,這個疼在什麼地方呢? (1)spark將內部幾乎完全封裝,類似黑箱,不瞭解內部機理。 (2)spark 調優參數衆多,參數之間關聯很多,無法清晰知道調優效果。 (3)spark運行在集羣上,本地調試功能有限。 如果誰能精通這三項,那就很厲害了,是不是?實際情況中,我們需要找出調優項,執行,並能看到明確的效果。爲了調優,除了絞盡腦汁,鑽研黑箱,還可以通過一些工具,提高效
相關文章
相關標籤/搜索