SparkStream實時更新hive表數據(獲取用戶前N條記錄)

這個功能主要是實現,SparkSteam實時更新覆蓋原表數據,不是追加,因爲業務需求,須要不斷獲取每一個用戶前N條信息用於數據查詢,考慮過直接insert hive表,可是因爲hive的jdbc不穩定,容易出現斷線、崩潰等問題,因此採用了直接寫hdfs的形式。java class SparkRealTimeAnalysisWebService() { def realTimeDataAlys
相關文章
相關標籤/搜索