spark sql中踩到的一個坑,自定義Udf會執行屢次,即便在已經cache table的狀況下

spark sql中踩到的一個坑,自定義Udf會執行屢次,即便在已經cache table的狀況下:  https://issues.apache.org/jira/browse/SPARK-15282 java 之前也沒發現這個問題,由於若是一個UDF是無狀態的話,其實執行屢次並不會致使結果的最終一致性被打破,說來也巧啊,最近寫了一個UDF裏面封裝了redis的hsetnx操做redis val
相關文章
相關標籤/搜索