Spark on Yarn 最佳運行參數調優-計算方式

Spark on Yarn 參數調優-計算方式 1. 整理機器信息 機器數： 3臺 # 查看物理CPU個數 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 或grep 'physical id' /proc/cpuinfo | sort -u | wc -l 每臺機器核數：8核 # 查看每一個物理CPU中core的

>>阅读原文<<