一次實踐：spark查詢hive速度緩慢緣由分析並以此看到spark基礎架構

前一段時間數據挖掘組的同窗向我返回說本身的一段pyspark代碼執行很是緩慢，而代碼自己很是簡單，就是查詢hive 一個視圖中的數據，並且經過limit 10限制了數據量。 不說別的，先貼個人代碼吧：html from pyspark.sql import HiveContext from pyspark.sql.functions import * import json hc = HiveCo

>>阅读原文<<