大數據應用期末總評

 

  該做業要求來源於：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

1.將爬蟲大做業產生的csv文件上傳到HDFS

我爬蟲做業爬取的是招聘網站對於JAVA的崗位信息：共計15129條

 

建立文件夾而且把文件複製進去，而且嘗試打開文件前5行

啓動hadoop，而且查看jps，和在hdfs上面建立文件夾

 

將文件上傳到hdfs

 

2.對CSV文件進行預處理生成無標題文本文件

 

3.把hdfs中的文本文件最終導入到數據倉庫Hive中

首先建立dbcmh數據庫

而後建立表

 

4.在Hive中查看並分析數據

使用查詢語句查詢而且分析結果

首先我要分析的問題的，對於java的崗位的待遇要求有什麼，哪些最高，能吸引人員投簡歷的哪些？

下面是我查詢的年末雙薪待遇的條數，有12757個。

 

帶薪年假這個待遇的崗位有6215個，

 

按期公司體檢身體的有4557個。

 

標有發展空間大的崗位有7765個。

 

績效獎金待遇的崗位有8692個。

提供技能培訓的崗位僅僅只有1906個。這個也說明了公司給技能培訓的不多，不少崗位都但願能立刻進行工做，而不用培訓。要求較高，對於經驗要求很高。

提供五險一金的崗位有9061個，看來不少公司都會給工做人員五險一金的待遇。這個待遇對於找工做的人來講是很是看重的。

有部分公司的招聘寫着股票期權，可是僅僅只有3538個。 

 

 年終獎是一個很是好的待遇，不少公司都有這個福利，如今查詢出有11143個崗位有這個待遇。因此能夠看出，有無年終獎是不少投簡人的選擇要求。

 

 

綜上所述：通過分析，我發現年末雙薪、年終獎、五險一金，這三個待遇是不少公司都有的，這樣看來，不少擇業人員選擇崗位都想找有這些待遇的公司，由於這麼多崗位都發放出這些待遇，說明了目前不少人重視這些。