數據清洗

因爲以前用jdbc鏈接hive鏈接失敗，此次改用直接用HQL語句來完成任務，以前的鏈接失敗還未解決

以前第一階段已經將文檔清洗完畢，包括轉化日期格式，去掉逗號等操做

現經過HQL命令完成題目：

2、數據處理：

·統計最受歡迎的視頻/文章的Top10訪問次數 （video/article）

 

 

 

 

 

 

 

 

 

 

 

·按照地市統計最受歡迎的Top10課程 （ip）

 

 

 

 

 

 

·按照流量統計最受歡迎的Top10課程 （traffic）

 

 

 

 

 

 

 

一、 數據可視化：將統計結果倒入MySql數據庫中，經過圖形化展現的方式展示出來。

這一步先將HIVE中的表數據導出到本地文件中，

 

 而後經過命令將數據導入到MYSQL

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 最後經過mysql的JDBC鏈接實現數據的查詢可視化顯示出來。