spark 使用中會遇到的一些問題及解決思路 spark-shell命令行執行spark hql

 內存溢出問題     在Spark中使用hql方法執行hive語句時，由於其在查詢過程中調用的是Hive的獲取元數據信息、SQL解析，並且使用Cglib等進行序列化反序列化，中間可能產生較多的class文件，導致JVM中的持久代使用較多，如果配置不當，可能引起類似於如下的OOM問題： Exception in thread "Thread-2" java.lang.OutOfMemoryErro

>>阅读原文<<