spark sql中踩到的一個坑，自定義Udf會執行屢次，即便在已經cache table的狀況下

spark sql中踩到的一個坑，自定義Udf會執行屢次，即便在已經cache table的狀況下:  https://issues.apache.org/jira/browse/SPARK-15282 java 之前也沒發現這個問題，由於若是一個UDF是無狀態的話，其實執行屢次並不會致使結果的最終一致性被打破，說來也巧啊，最近寫了一個UDF裏面封裝了redis的hsetnx操做redis val

>>阅读原文<<