【轉載】Hadoop 2.7.3 和Hbase 1.2.4安裝教程

轉載地址：http://blog.csdn.net/napoay/article/details/54136398 

 

目錄(?)[+]

 

1、機器環境

• 系統：MAC OS
• Hadoop:2.7.3
• Hbase:1.2.4
• JDK: 1.8.0_112

2、配置SSH免密碼登陸

第一步：打開terminal，進入根目錄，運行命令：

cd

第二步: 顯示隱藏文件，這時尚未.ssh文件夾

ls –a

第三步：生成密鑰

ssh-keygen -t rsa -P ""

 
第四步，進入.ssh文件夾，運行：

cat id_rsa.pub >> authorized_keys

第五步: ssh登陸

ssh localhost

3、安裝Hadoop 2.7.3

3.1下載Hadoop

Hadoop下載地址：http://hadoop.apache.org/releases.html 
下載hadoop-2.7.3.tar.gz，大約204MB。 
下載後解壓縮:

sudo tar –zxvf hadoop-2.7.3.tar.gz

Hadoop有三種安裝模式：單機模式、僞分佈式模式、分佈式模式。

3.2運行Hadoop單機模式

解壓安裝文件以後，就是單機模式，運行wordcount測試是否安裝成功。 
第一步：在hadoop-2.7.3目錄下新建input文件夾。

sudo mkdir input

第二步：在input文件夾下新增2個文本文件用於測試。

echo 'hello world' > file1.txt echo 'hello hadoop' > file2.txt

第三步：運行wordcount例子

sudo ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop- mapreduce-examples-2.7.3.jar wordcount input/ output

 
No news is good news，沒waring、沒error就說明正確運行。 
第四步：查看運行結果：

cat output/part-r-00000

統計結果:

hadoop  1
hello   2
world   1

3.3 Hadoop僞分佈式模式

3.3.1修改hadoop-env.sh

文件位置： hadoop-2.7.3/etc/hadoop/hadoop-env.sh

註釋掉 HADOOP_OPTS

#export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改成:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

3.3.2修改core-site.xml

文件位置： hadoop-2.7.3/etc/hadoop/core-site.xml 
修改成以下配置：

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop-2.7.3/hdfs/tmp</value> <description>A base for other temporary directories</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

 

其中/Users/bee/Documents/bd/hadoop-2.7.3/hdfs/tmp能夠自定義. fs.default.name 保存了NameNode的位置，HDFS和MapReduce組件都須要用到它，這就是它出如今core-site.xml 文件中而不是 hdfs-site.xml文件中的緣由。

3.3.3修改mapred-site.xml.template

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration>

 

變量mapred.job.tracker 保存了JobTracker的位置，由於只有MapReduce組件須要知道這個位置，因此它出如今mapred-site.xml文件中。

3.3.4修改hdfs-site.xml

變量dfs.replication指定了每一個HDFS數據庫的複製次數。 一般爲3, 因爲咱們只有一臺主機和一個僞分佈式模式的DataNode，將此值修改成1。

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

 

3.4啓動hadoop

3.4.1格式化hdfs

./bin/hadoop namenode -format

 

3.4.2啓動Hadoop

運行啓動命令:

./sbin/start-all.sh

查看進程：

jps

啓動成功以後能夠看到NodeManager、NameNode、SecondaryNameNode、ResourceManager這幾個進程。

2338 NodeManager
2389 Jps
1900 NameNode
2108 SecondaryNameNode
2238 ResourceManager

 

訪問HDFS的web端口: http://localhost:50070 

4、安裝Hbase 1.2.4

4.1 Hbase下載

http://hbase.apache.org/ 
下載後解壓縮。

4.2 單機運行

查看Hbase版本:

./bin/hbase version

啓動Hbase:

./bin/start-hbase.sh

 

 
進入Hbase shell:

./bin/hbase shell

 

4.3僞分佈式運行

4.3.1 第一步:修改hbase-env.sh

文件位置: hbase-1.2.4/conf/hbase-env.sh
開啓HBASE_MANAGES_ZK,改值默認是註釋的，做用是：使用自帶的ZooKeeper。咱們爲了方便，使用Hbase自帶的ZooKeeper:

export HBASE_MANAGES_ZK=true

4.3.2 第二步:修改hbase-site.xml

<property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>

 

4.3.3啓動Hbase

啓動以前，先啓動hadoop:

./sbin/start-all.sh

再啓動hbase:

./bin/start-hbase.sh