spark jdbc(mysql) 讀取併發度優化

不少人在spark中使用默認提供的jdbc方法時，在數據庫數據較大時常常發現任務 hang 住，實際上是單線程任務太重致使，這時候須要提升讀取的併發度。 下文以 mysql 爲例進行說明。java 在spark中使用jdbc 在 spark-env.sh 文件中加入:mysql export SPARK_CLASSPATH=/path/mysql-connector-java-5.1.34.jar

>>阅读原文<<