Hadoop2安裝——單機模式


Hadoop有三種模式 單機模式、僞分佈模式和徹底分佈模式
這裏先簡單介紹單機模式 ,默認狀況下,Hadoop被配置成一個非分佈式模式,獨立運行JAVA進程,適合開始作調試工做。 java

Hadoop 網址http://hadoop.apache.org/       OSC地址 http://www.oschina.net/p/hadoop apache

下載地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下載的版本是hadoop-2.0.2-alpha 分佈式

安裝前肯定java安裝 略 oop

1、拷貝到/usr/local  解壓 hadoop 測試

cp hadoop-2.0.2-alpha.tar.gz /usr/local
cd /usr/local
tar -zxvf hadoop-2.0.2-alpha.tar.gz

    目錄結構和配置文件這裏就 省略() .net

2、修改配置文件 hadoop-env.sh
    Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,因爲默認狀況下是單機模式,通常不用作修改就能夠直接作第三步測試實例,下面只是安裝實際狀況修改。 調試

 一、在hadoop中配置JAVA_HOME
默認的是export JAVA_HOME=${JAVA_HOME}  若是原來在環境變量中配置過,就可用使用默認的,不需修改 code

export JAVA_HOME=/opt/java
/opt/java 也就是jdk安裝的路徑 

二、修改java虛擬機的類存
原來啓動JVM時配置的最大內存是128m,當運行hadoop的一些自帶的實例會報內存溢出,其實這裏是能夠修改內存大小
若是不須要也沒必要修改。
 export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS" 進程

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

3、運行實例 Hello Hadoop 內存

切換到該安裝目錄下,創建要上傳到hadoop的兩個文件 test1.txt、test2.txt

mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..
運行hadoop自帶的wordcount實例能夠統計一批文本文件中單詞出現的次數
$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output


bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

查看結果


$cat output/*
hadoop 1 hello 2 world 1 OK,Hadoop單機模式就OK了
相關文章
相關標籤/搜索