分享知識-快樂本身：運行（wordcount）案例

運行 wordcount 案例：

一）：大數據（hadoop）初始化環境搭建

二）：大數據（hadoop）環境搭建

三）：運行wordcount案例

四）：揭祕HDFS

五）：揭祕MapReduce

六）：揭祕HBase

七）：HBase編程

-----------------------------------------------------------------

Hadoop集羣測試wordcount程序：

1）：在bigData目錄下建立wordcount文件夾

mkdir wordcount //建立文件夾

2）：在wordcount文件夾下建立兩個文件並輸入內容

//建立 file1.txt
vim file1.txt
//輸入內容以下：

　hello word
　hello java

//建立 file2.txt
vim file2.txt

　hello hadoop
　hello wordcount

3）：在HDFS中建立input文件夾

hadoop fs -mkdir /input // hadoop fs ：能夠理解爲 hadoop系統文件目錄

查看建立的文件（是否存在）

4）：把剛纔建立的兩個文件上傳到HDFS中input文件夾

//上傳全部以 .txt 結尾的文件
hadoop fs -put ./*.txt /input/

//查看上傳的文件
hadoop fs -ls /

注意：可能存在的問題：

查看當前正在運行的相關服務：

jps  //沒有規定要在哪個目錄執行

1）：上傳過程當中可能出現如下錯誤：

解決方案：

查看 配置  hdfs-site.xml 節點指定的路徑【 name 和 data 】目錄是否自動生成了（查看主機是否存在 name 和子機器上的 data）。

小編這裏是沒有生成 data 目錄。

有了目錄還須要注意：name 和 data 目錄中的 id 必須一致：（若是不一致能夠修改一下 或者 刪除 name data logs tem 生成的目錄 從新格式化並啓動集羣：查看是否有相應信息）

5）：運行wordcount程序

Hadoop的 jar 包中已經給咱們提供了 mapreduce 程序！都在 /bigData/hadoop-2.8.0/share/hadoop/mapreduce文件夾中！

切換到 share/hadoop/mapreduce 目錄下：

cd share/hadoop/mapreduce

執行如下命令：

hadoop jar hadoop-mapreduce-examples-2.8.0.jar  wordcount /input/ /output/

　/input/ :是指須要計算文件所在的位置

　/output/：是指計算以後的結果文件存放位置

6）：查看執行運算後的結果

hadoop fs -cat /output/*

Eclipse集成Hadoop插件：點我下載源碼

若是eclipse是裝在了真機windows系統中，須要咱們在真機上安裝hadoop！（一樣將 hadoop 壓縮包在 windows 上解壓一份：【以管理員方式運行解壓】）

1）：配置 windows hadoop環境變量：

2）：使用 hadoop  version 查看是否配置成功：

3）：下載指定版本的插件：下載地址一　　下載地址二

把插件放進 eclipse 安裝目錄下的 plugins 文件夾下

4）：啓動eclipse配置hadoop的安裝目錄

4-1）：

 

4-2）：

4-3）：eclipse中顯示插件的頁面：

4-）：

5）：使用eclipse建立並運行wordcount程序

導入計算程序：

1）:

2）：

NativeIO：更改如下配置

目錄結構：

右鍵點擊WordCount====》Run As ===》Run Configuration：

java Application 上 new：

hdfs://admin:9000/input
hdfs://admin:9000/eclipseoutput

獲得結果：

注意：Error 可能出現的錯誤...

1）：有多是本機的hadoop/bin目錄下缺乏hadoop.dll和winutils.exe等文件。（建議所有替換 hadoop/bin 下的全部文件。bin包在上述的下載地址中）

2）：

org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x

在集羣中運行hadoop fs -chmod -R 777 /

或者

修改三個虛擬機的配置：hdfs-site.xml
添加以下配置：

 <property>
　　<name>dfs.permissions</name>
　　<value>false</value>
 </property>

3）：

Exception in thread "main" java.lang.RuntimeException: 
java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems

解決方式：在 WordCount類中的main 方法中添加以下配置

System.setProperty("hadoop.home.dir", "hadoop安裝目錄");

6）：使用eclipse打成jar包發佈到linux中運行

7）：運行完畢以後，在eclipse中查看效果圖！

 

 

點我進行下一步的操做（揭祕HDFS）