SparkStreaming流式計算中使用SparkSQL,並結合HIVE的UDF、UDAF、UDTF的使用

思路:web 編寫UDF函數,實現hive的UDF接口 建立hiveContext對象,註冊編寫的UDF函數 編寫表的結構 DStream==>RDD==>rowRDD==>DataFrame==>SQL查詢 UDF 以監聽端口號爲例,每隔五秒一個批次sql object Test_UDF { def main(args: Array[String]): Unit = { val co

>>阅读原文<<