pyspark、hive和dateframe臨時udf使用案例

背景         在我們數據開發過程中業務中有很多計算時間差值的場景，公司業務數據時間格式基本是：yyyyMMdd，，而spark或者hive提供內置函數datediff()，需要傳入的時間參數格式：yyyy-MM-dd，爲開發時簡化代碼量與代碼可讀性,我們通過創建臨時udf可以靈活的解決該問題。 pyspark import time def dd_datediff(date_now, da

>>阅读原文<<