CenterOS下搭建Hadoop環境

 

檢查防火牆狀態

service iptables status

關閉防火牆

service iptables stop

查看防火牆開機啓動狀態

chkconfig iptables --list

關閉防火牆開機啓動

chkconfig iptables off

安裝JDK

查看目前系統jdk

rpm -qa | grep jdk
結果爲：
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

卸載：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

下載JDK

下載地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

• 使用命令下載
• 下載完成後，拷貝到指定目錄（把jdk-7u79-linux-x64.tar.gz放到CentOS目錄/usr/lib/jvm中）

解壓JDK

• tar xvf jdk-7u79-linux-x64.tar.gz

配置環境

vi /etc/profile

在文件最下邊輸入：
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_4579
export JRE_HOME=/usr/lib/jvm/jdk1.7.0_4579/jre
export CLASSPATH=.:$JRE_HOME/lib/tr.jar:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

使其當即生效:

source /etc/profile

驗證:

java -version

下載hadoop

http://mirror.bit.edu.cn/apache/hadoop/common/

安裝

• 解壓： tar xvf jdk-7u79-linux-x64.tar.gz
• 配置hadoop環境：vi /etc/profile

# set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• source /etc/profile
• 修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79

• 僞分佈式Hadoop2.6.0配置

etc / hadoop / core-site.xml:
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>
etc / hadoop / hdfs-site.xml:
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
</configuration>

• 啓動Hadoop2.6.0

進入hadoop的bin目錄
cd /usr/local/hadoop/bin
格式化Hadoop的文件系統HDFS
hdfs namenode -format
進入hadoop的sbin目錄
cd /usr/local/hadoop/sbin
啓動全部進程
start-all.sh

hdfs namenode -format（可能出現的問題）

• SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx
  • 解決方案：http://blog.csdn.net/shirdrn/article/details/6562292
  • 修改了hostname發現重啓才生效：service network restart

用jps查看啓動的進程

Jps
ResourceManager
NameNode
DataNode
SecondaryNameNode
NodeManager

瀏覽器訪問

• 瀏覽器訪問：http://localhost:50070
• hadoop進程管理頁面http://localhost:8088

參考資料

• hadoop2.6.0版本集羣環境搭建: http://blog.csdn.net/stark_summer/article/details/42424279
• namenode -format 出現問題：http://blog.csdn.net/shirdrn/article/details/6562292