Spark性能調優-並行度調優

性能調優: 並行度調節 性能調優首先是增長資源,增長Application對應的executor的數量,增長executor裏面的cpu core,而後 增長executor裏面的內存大小! 這節課也是很是重要的,由於分配完你所能分配的最大資源了!而後對應你的資源調節你程序的並行度! Spark並行度指的是什麼? Spark做業,Application,Jobs,action(collect)觸發
相關文章
相關標籤/搜索