spark讀取MySQL大Table的效能問題

在測試從Spark Shell讀取MySQL一張Large Table時，發生了Out of memory和connection timeout問題，記錄一下處理的過程：css MySQL Table資料筆數：1400萬筆左右 Spark Cluster配置：Master * 1，Slave * 3，皆爲1 core 8G  Spark版本：2.1.1java 星火配置配置： spark-env.

>>阅读原文<<