sparkSQL元數據緩存踩的坑

spark metadata cache 背景 最近一直忙着搞apm，也沒時間寫博客，眼看5月已通過半了，趕忙寫一篇壓壓驚，先描述下背景：html 咱們將sparkSession封裝在actor中，每一個actor都有本身獨佔的sparkSession，有些sql是保存數據到hive和hdfs上，但因爲是一個多線程模型，若是不加任何干預的狀況下，actor1跑出來的數據經過actor2讀的時候會拋

>>阅读原文<<