Spark精華問答 | spark性能優化方法

Hadoop再火，火得過Spark嗎？今天咱們繼續關於Spark的精華問答吧。程序員 1 Q：影響性能的主要因素是什麼？面試 A：網絡傳輸開銷大算法 硬件資源利用率低sql 同一資源的複用率低docker 2 Q：優化的方向有哪些？數據庫 A：設置數據本地化,減小跨節點跨機架的網絡傳輸開銷緩存 設置合適的存儲格式,推薦orc,縮短查詢時間微信 設置內存計算的大小和task數量,根據集羣內存和磁盤大

>>阅读原文<<