Hadoop安裝及WordCount運行

決定參照這個教程來安裝https://blog.csdn.net/zp8126/article/details/78249741

CentOS6.5 +JDK 1.8環境，用MobaXterm_v11.1操做

1.首先檢查jdk安裝狀況

2.下載hadoop(hadoop版本選擇？)

使用rz上傳命令找不到的話要先下載，下面是成功了

 MobaXterm使用rzhttps://blog.csdn.net/kq1983/article/details/95262378

貌似上傳仍是不行，但直接進入目錄這樣上傳就能夠了，以下：

      

你看，兩種方式都能看到這個安裝包

           

 

這裏已經有了感受

 
<property>
<name>fs.default.name</name>
<!-- yang爲主機名，也可使用ip-->
<value>hdfs://hadoop001:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- 文件臨時目錄，能夠本身指定 -->
<value>/usr/hadoop/temp/</value>
</property>

格式化後

 

 

配置一直有點小問題，以前start-all.sh而後jps查看到的進程列表都只有DateNode和Jps

不懈努力地理解修改配置文件後，看下圖都好了，但我不記得最後到底改的哪裏弄好了。。。

hadoop web管理頁面打不開，先試試http://www.javashuo.com/article/p-buexodvi-eb.html

 我說我怎麼一直打不開web管理頁面，太傻了，是要用虛擬機中centos6.5的瀏覽器打開，我一本正經在那兒用Window瀏覽器打開。。。

我先把兩文件這裏改爲了這樣匹配的樣子

 

 

 瞧！

 

 

 

 

開啓yarn，這裏的意思是已經開啓了，要再開啓得先關閉，因此如今直接瀏覽器打開就行

 

結束！（那個ssh免密碼登陸再弄吧）

---

 

 關於hadoop集羣啓動後datanode沒有啓動問題，即jps後沒有DataNodehttps://blog.csdn.net/huguihua2002/article/details/100079564

先保證hadoop集羣是正確啓動的，而後運行WordCount程序 https://blog.csdn.net/u012366219/article/details/78781382

 

上面警告的處理http://www.javashuo.com/article/p-hgenyqsb-gs.html

 

 

 

查看到結果

 

---

如今用IntelliJ Idea打包wordcount的mapreduce程序，而後傳到裝有hadoop的虛擬機系統上運行

參照此教程https://www.cnblogs.com/airnew/p/9540982.html，到要建立shell文件那裏我開始有點迷糊了

而後到運行的時候又有這個問題

 嘗試用這個方法解決https://blog.csdn.net/weixin_34194317/article/details/86360351又有新問題

 根據網友的問題解決方案，hadoop fs -rm -r /input刪除這個文件夾，將執行命令反覆再嘗試了好幾遍也不行，我執行的命令以下

 hadoop fs -mkdir /input
 hadoop fs -put test.txt /input
 hadoop jar /usr/hadoop/hadoop-2.10.0/bin/WordCount.jar WordCount /input /output

 放棄後繼續查找經驗https://blog.csdn.net/ASN_forever/article/details/81066282看到這裏忽然靈感一現：路徑一致+輸入輸出更名

 

 

 

確保WordCount.jar包與輸入輸出文件在同一層次路徑下後，而後我只輸入下面代碼，便成功了

hadoop jar WordCount.jar /input/test.txt /output4

 

 

 

 

 

 

 

 

 

 

 

---

代碼改了下，又跑了下，感受理解更深了些。

我把改後生成的WordCount.jar上傳到了linux 的/wcdata文件夾中，原本這裏面還又建了一個test.txt文檔，但經過[root@hadoop001 wcdata]# hadoop jar WordCount.jar /input/test.txt  /output命令後發現jar包雖然是使用的wcdata該文件夾中的，可是使用的輸入文本卻仍是/usr/hadoop/hadoop-2.10.0/test.txt這裏的，而不是/wcdata/test.txt這個，有點納悶。