Hadoop綜合大做業

Hadoop綜合大做業 要求：

1.將爬蟲大做業產生的csv文件上傳到HDFS

2.對CSV文件進行預處理生成無標題文本文件

喜劇電影：

劇情電影

 

3.把hdfs中的文本文件最終導入到數據倉庫Hive中

建立數據庫：

 

建立comedy表：

 建立plot表：

 

 

4.在Hive中查看並分析數據

查看喜劇電影高分的電影名和年份，能夠根據最近的年份選擇本身喜歡的喜劇電影

 查看喜劇電影評論數最多的前10項

 

查看評分最高的前10項喜劇電影信息

 查看年份爲2018，評分大於8.0分的劇情電影

 查看喜劇電影前20項信息

 查看劇情電影的前15項

 劇情電影評分大於9.0以上的