大數據清洗階段2

補一下前天的進度

前天主要完成了清洗之後的數據導入hive以及數據的處理（統計前10個）

下一階段計劃完成數據可視化展現

 

 

2.數據處理

1.統計最受歡迎的視頻/文章的Top10訪問次數 （video/article）

視頻：

 

 

 

 

文章：

 

 

 

2.按照地市統計最受歡迎的Top10課程 （ip）

沒有理解這個題什麼意思 

我理解的是分別統計每一個城市最受歡迎的前10個課程 而後我按IP和id進行分組 可是這樣出來的結果不對 不知道咋整

 

 

3.·按照流量統計最受歡迎的Top10課程 （traffic）

 

 

 

 

 

3、數據可視化：將統計結果倒入MySql數據庫中，經過圖形化展現的方式展示出來。

將HIVE中的表數據導出到臨時文件中