hadoop文件系統測試

java和hadoop環境都搭建好之後,接下來就是測試了,

首先配置文件系統的相關配置,全部的配置文件都在hadoop項目下面的conf目錄下面,下面是具體的配置內容,這裏測試屬於僞分佈式,在同一臺機器上面運行的.下面的五個配置文件分別對應hadoop生態系統的五大守護進程.

1.core-site.xml

<configuration>
 <property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop-master.dragon.org:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/data/tmp</value>
 </property>
</configuration>

2.hdfs-site.xml

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.permission</name>
  <value>false</value>
 </property>
</configuration>

3.mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>hadoop-master.dragon.org:9001</value>
 </property>
</configuration>

4.masters

hadoop-master.dragon.org

5.slaves

hadoop-master.dragon.org

OK!配置好這些之後,咱們鍵入hadoop,能夠看到後面攜帶的不少參數,第一個就是namenode -format,這個命令就是初始化文件系統.

對了,有個地方忘記說了,上面配置的第四個和第五個文件的內容來源.其實也就是/etc/hosts文件中的內容,在上面配置之前先修改這個文件

記得每次修改文件後,用下source命令,在上面的配置中分紅三段,本機的IP地址,域名,主機名.而上面的配置中使用的就是域名...在這裏有哥地方提醒下,這樣咱們在虛擬機上能夠訪問,可是,在咱們本身的電腦上面怎麼訪問呢.咱們打開本身電腦的C盤下面的windows下面有個System32,再找到drivers/etc/hosts.修改這個文件,將linux的配置那一段複製到咱們本地的hosts文件下面.而後關閉linux系統的防火牆,這樣咱們就能夠在咱們本身的電腦上面去訪問文件系統了.

在上面咱們格式化文件後,而後啓動hadoop的五大守護進程.進入到hadoop的bin目錄下面,而後使用start-all.sh就能夠了.而後使用jps查看五大守護進程是否都正常啓動了.若是正常OK,打開咱們的瀏覽器鍵入http://hadoop-master.dragon.org:50070.就能夠查看咱們的文件系統了.鍵入http://hadoop-master.dragon.org:50030.能夠查看mapreduce的運行狀況.好比說文件系統就以下圖所示.