spark 使用中會遇到的一些問題及解決思路 spark-shell命令行執行spark hql

 內存溢出問題     在Spark中使用hql方法執行hive語句時，因爲其在查詢過程當中調用的是Hive的獲取元數據信息、SQL解析，而且使用Cglib等進行序列化反序列化，中間可能產生較多的class文件，致使JVM中的持久代使用較多，若是配置不當，可能引發相似於以下的OOM問題： Exception in thread "Thread-2" java.lang.OutOfMemoryErr

>>阅读原文<<