hadoop單機環境搭建

[在此處輸入文章標題]

Hadoop單機搭建

一、 工具準備

1） Hadoop Linux安裝包

2） VMware虛擬機

3） Java Linux安裝包

4） Window 電腦一臺

二、 開始配置

1） 啓動Linux虛擬機，這裏使用的是CentOS 6.7版本

2） 首先配置虛擬機網絡環境

Ø 配置Windows網絡環境

一、 打開VMware，編輯—虛擬網絡編輯器

二、 修改子網IP爲192.168.100.0

三、 繼續修改子網詳細配置

四、Windows網絡環境配置完成

Ø 配置Linux網絡環境

一、 配置Linux網絡環境，這裏使用CentOS6.7桌面，右鍵網絡鏈接，編輯網絡

二、 編輯網絡

三、 edit，設置網卡

四、 Ipv4 Setting，Method選擇Manual

五、 Add添加一個

輸入

Address：192.168.100.101

Network：255.255.255.0

Gateway：192.168.100.1

DNS：119.29.29.29,182.254.116.116

六、 點擊 Apply... 接下來設置Linux hosts文件

七、 右鍵Linux桌面，Open in Terminal

八、 Linux終端打開，輸入 vim /etc/hosts

九、 打開hosts文件，添加記錄 master 192.168.100.101

十、 保存退出，在終端輸入 vim /etc/sysconfig/network

十一、 修改network文件 HOSTNAME=master

十二、 接下來，關閉Linux防火牆，並從自啓項中取消啓動

關閉防火牆命令：service iptables stop

取消自啓/關閉自啓：chkconfig iptables off

查看防火牆狀態：service iptables status

查看防火牆的開機狀態：chkconfig --list | grep iptables

1三、 保存退出，Linux網絡修改完成。輸入 init 0 重啓Linux

3） 接下來，安裝jdk

a) 將jdk安裝包拷貝到Linux /opt/soft 下（我這裏用目錄/opt/soft，能夠選擇其餘任意目錄）這裏用的jdk爲8u112版本

b) 輸入命令 tar –zxvf jdk-8u112-linux-x64.tar.gz –C /opt/ 將jdk解壓到opt目錄下

c) *修改jdk解壓後的目錄爲jdk

命令:cd /opt

mv jdk1.8.0_112/ jdk

d) 添加jdk路徑到path路徑中

命令：

vim /etc/profile.d/hadoop.sh

添加

JAVA_HOME=/opt/jdk

PATH=$PATH:$JAVA_HOME/bin

e) 保存退出，輸入命令 source /etc/profile.d/hadoop.sh,使配飾生效

f) 輸入 java –version 檢驗是否成功

4） 安裝Hadoop

a) 將Hadoop安裝包拷貝到 /opt/soft/ 下，我這裏用的是2.6.4版本

b) 解壓Hadoop安裝包到/opt下， tar -zxvf hadoop-2.6.4.tar.gz -C /opt/

c) 修改解壓後的目錄名爲hadoop

d) 添加Hadoop目錄到path路徑

命令：

vim /etc/profile.d/hadoop.sh

添加兩行：

HADOOP_HOME=/opt/hadoop

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

e) 修改hadoop配置文件（配置文件目錄 $HADOOP_HOME/etc/hadoop/）

i. 修改hadoop-env.sh文件 export JAVA_HOME=/opt/jdk

ii. 修改yarn-env.sh 文件 export JAVA_HOME=/opt/jdk

iii. 修改hdfs-site.xml文件

1. <configuration>

2. <property>

3. <name>dfs.namenode.name.dir</name>

4. <value>file:///opt/hadoop-repo/name</value>

5. </property>

6. <property>

7. <name>dfs.datanode.data.dir</name>

8. <value>file:///opt/hadoop-repo/data</value>

9. </property>

10. <property>

11. <name>dfs.namenode.checkpoint.dir</name>

12. <value>file:///opt/hadoop-repo/secondary</value>

13. </property>

14. <!-- secondaryName http地址 -->

15. <property>

16. <name>dfs.namenode.secondary.http-address</name>

17. <value>master:9001</value>

18. </property>

19. <!-- 數據備份數量-->

20. <property>

21. <name>dfs.replication</name>

22. <value>1</value>

23. </property>

24. <!-- 運行經過web訪問hdfs-->

25. <property>

26. <name>dfs.webhdfs.enabled</name>

27. <value>true</value>

28. </property>

29. <!-- 剔除權限控制-->

30. <property>

31. <name>dfs.permissions</name>

32. <value>false</value>

33. </property>

34. </configuration>

iv. 修改core-site.xml文件

1. <configuration>

2. <property>

3. <name>fs.defaultFS</name>

4. <value>hdfs://master:9000</value>

5. </property>

6. <property>

7. <name>hadoop.tmp.dir</name>

8. <value>file:///opt/hadoop-repo/tmp</value>

9. </property>

10. </configuration>

v. 複製一份mapred-site.xml.template 文件並修改成mapred-site.xml，修改其內容

1. <configuration>

2. <property>

3. <name>mapreduce.framework.name</name>

4. <value>yarn</value>

5. </property>

6. <!-- 歷史job的訪問地址-->

7. <property>

8. <name>mapreduce.jobhistory.address</name>

9. <value>master:10020</value>

10. </property>

11. <!-- 歷史job的訪問web地址-->

12. <property>

13. <name>mapreduce.jobhistory.webapp.address</name>

14. <value>master:19888</value>

15. </property>

16. <property>

17. <name>mapreduce.map.log.level</name>

18. <value>INFO</value>

19. </property>

20. <property>

21. <name>mapreduce.reduce.log.level</name>

22. <value>INFO</value>

23. </property>

24. </configuration>

vi. 修改yarn-site.xml文件

1. <configuration>

2. <property>

3. <name>yarn.nodemanager.aux-services</name>

4. <value>mapreduce_shuffle</value>

5. </property>

6. <property>

7. <name>yarn.resourcemanager.hostname</name>

8. <value>master</value>

9. </property>

10. <property>

11. <name>yarn.resourcemanager.address</name>

12. <value>master:8032</value>

13. </property>

14. <property>

15. <name>yarn.resourcemanager.scheduler.address</name>

16. <value>master:8030</value>

17. </property>

18. <property>

19. <name>yarn.resourcemanager.resource-tracker.address</name>

20. <value>master:8031</value>

21. </property>

22. <property>

23. <name>yarn.resourcemanager.admin.address</name>

24. <value>master:8033</value>

25. </property>

26. <property>

27. <name>yarn.resourcemanager.webapp.address</name>

28. <value>master:8088</value>

29. </property>

30. <property>

31. <name>yarn.log-aggregation-enable</name>

32. <value>true</value>

33. </property>

34. </configuration>

f) 建立hadoop數據儲存目錄

i. NameNode 數據存放目錄： /opt/hadoop-repo/name

ii. SecondaryNameNode 數據存放目錄： /opt/hadoop-repo/secondary

iii. DataNode 數據存放目錄： /opt/hadoop-repo/data

iv. 臨時數據存放目錄： /opt/hadoop-repo/tmp

5） 至此單機版hadoop配置完成

6） 單機版hadoop的測試

a) 格式化hadoop文件系統

hdfs namenode -format

b) 啓動hadoop

start-all.sh

////

啓動成功以後，經過java命令jps(java process status)會出現5個進程：

NameNode

SecondaryNameNode

DataNode

ResourceManager

NodeManager

c) 驗證

在瀏覽器中輸入http://master:50070

歡迎來訪 http://zy107.cn