案例解析丨Spark Hive自定義函數應用

摘要:Spark目前支持UDF,UDTF,UDAF三種類型的自定義函數。 1. 簡介 Spark目前支持UDF,UDTF,UDAF三種類型的自定義函數。UDF使用場景:輸入一行,返回一個結果,一對一,比如定義一個函數,功能是輸入一個IP地址,返回一個對應的省份。UDTF使用場景: 輸入一行,返回多行(hive),一對多, 而sparkSQL中沒有UDTF, spark中用flatMap即可實現該功
相關文章
相關標籤/搜索