Hadoop入門進階步步高（二）-目錄介紹

2、Hadoop目錄結構

這裏重點介紹幾個目錄bin、conf及lib目錄。

一、$HADOOP_HOME/bin目錄

文件名稱	說明
hadoop	用於執行hadoop腳本命令，被hadoop-daemon.sh調用執行，也能夠單獨執行，一切命令的核心
hadoop-config.sh	Hadoop的配置文件
hadoop-daemon.sh	經過執行hadoop命令來啓動/中止一個守護進程(daemon)。 該命令會被bin目錄下面全部以「start」或「stop」開頭的全部命令調用來執行命令，hadoop-daemons.sh也是經過調用hadoop-daemon.sh來執行優命令的，而hadoop-daemon.sh自己由是經過調用hadoop命令來執行任務。
hadoop-daemons.sh	經過執行hadoop命令來啓動/中止多個守護進程(daemons)，它也是調用hadoop-daemon.sh來完成的。
rcc	The Hadoop record compiler
slaves.sh	該命令用於向全部的slave機器上發送執行命令
start-all.sh	所有啓動，它會調用start-dfs.sh及start-mapred.sh
start-balancer.sh	啓動balancer
start-dfs.sh	啓動Namenode、Datanode及SecondaryNamenode
start-jobhistoryserver.sh	啓動Hadoop任務歷史守護線程，在須要執行歷史服務的機器上執行該命令。 原文： Start hadoop job history daemons.  Run this on node where history server need to run
start-mapred.sh	啓動MapReduce
stop-all.sh	所有中止，它會調用stop-dfs.sh及stop-mapred.sh
stop-balancer.sh	中止balancer
stop-dfs.sh	中止Namenode、Datanode及SecondaryNamenode
stop-jobhistoryserver.sh	中止Hadoop任務歷史守護線程
stop-mapred.sh	中止MapReduce
task-controller	任務控制器，這不是一個文本文件，沒有被bin下面的shell調用

 

2、$HADOOP_HOME/conf目錄

文件名稱	說明
capacity-scheduler.xml
configuration.xsl
core-site.xml	Hadoop核心全局配置文件，能夠其它配置文件中引用該文件中定義的屬性，如在hdfs-site.xml及mapred-site.xml中會引用該文件的屬性。 該文件的模板文件存在於$HADOOP_HOME/src/core/core-default.xml，可將模板文件拷貝到conf目錄，再進行修改。
fair-scheduler.xml
hadoop-env.sh	Hadoop環境變量
hadoop-metrics2.properties
hadoop-policy.xml
hdfs-site.xml	HDFS配置文件，該模板的屬性繼承於core-site.xml。 該文件的模板文件存在於$HADOOP_HOME/src/hdfs/hdfs-default.xml，可將模板文件拷貝到conf目錄，再進行修改。
log4j.properties	Log4j的日誌屬於文件
mapred-queue-acls.xml	MapReduce的隊列
mapred-site.xml	MapReduce的配置文件，該模板的屬性繼承於core-site.xml。 該文件的模板文件存在於$HADOOP_HOME/src/mapred/mapredd-default.xml，可將模板文件拷貝到conf目錄，再進行修改。
masters	用於設置全部secondaryNameNode的名稱或IP，每一行存放一個。若是是名稱，那麼設置的secondaryNameNode名稱必須在/etc/hosts有ip映射配置。
slaves	用於設置全部slave的名稱或IP，每一行存放一個。若是是名稱，那麼設置的slave名稱必須在/etc/hosts有ip映射配置。
ssl-client.xml.example
ssl-server.xml.example
taskcontroller.cfg
task-log4j.properties

 

3、$HADOOP_HOME/lib目錄

存放的是Hadoop運行時依賴的的jar包，Hadoop在執行的時候會把lib目錄下面的jar所有加到classpath中。若是不想經過HADOOP_CLASSPATH指定本身的JAR文件所在路徑，能夠把計算須要用的jar所有都拷貝到lib目錄中。