spark經常使用的調參詳解

 1.在submit中設置 在submit中設置注意後面的  \  sql --conf "spark.shuffle.blockTransferService=nio" \   大數據集shuffle的時候，節點之間傳輸數據時使用netty 改成nio --conf "spark.debug.maxToStringFields=500"  \     字段的字符串太長了 --conf "spar

>>阅读原文<<