spark 2節點2g數據orderby性能測試和疑惑點

spark的orderby算法類似於桶排序，有三個階段：  1. 抽樣確定bound 2. 根據bound進行shuffle write 3. shuffle read 並在內存中排序 接下來開始實驗： 配置爲兩臺物理機master1和slave5： master1:  4cores, 4g mem  executor0: 4cores, 1g mem slave5: 4cres, 4g mem 

>>阅读原文<<