spark調優經驗總結

1.問題 1）BAT這樣的企業內部是如何開發和運行Spark程序的？ · 開發和測試 intellij進行開發，對scala支持的非常好，java也支持的很好，開發好了在local模式下運行進行測試，intellij是不能遠程提交到集羣的，itellij沒有分發jar包功能。 · spark生產環境運行 將所有依賴的包打成assembly.jar包，這樣不再依賴環境裏的任何模式，一般用yarn c

>>阅读原文<<