1.HADOOP是以JAVA語言寫成的,須要預先在本地計算機上安裝JDK,因爲直接使用wget不能繞過ORACLE的網站驗證,可使用下面代碼下載。java
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u77-b03/jdk-8u77-linux-x64.rpm"
2.將下載的JDK拷貝到所須要安裝的目錄下。如:/usr/jdk
node
3.安裝JDKlinux
4.配置JAVA_HOME以及CLASS_PATH,vi 進入/etc/profile,在文件最後加上以下語句apache
export JAVA_HOME=/usr/jdk/jdk1.7.0_71 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME PATH CLASSPATH
保存退出,執行下面命令使配置生效:ubuntu
source /etc/profile
5.執行下面命令查看當前版本配置是否生效cookie
java -version
在ubuntu linux上使用以下命令安裝:
oracle
sudo apt-get install ssh sudo apt-get install rsync
在RedHat/CentOS上使用以下命令安裝:ssh
sudo yum install ssh sudo yum install rsync
單機僞分佈使用以下命令配置免密碼登陸分佈式
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
使用ssh localhost 命令測試是否還須要密碼才能登陸,若是不須要密碼就能夠進入,說明配置成功。ide
1.下載Hadoop穩定版並解壓
wget http://mirrors.cnnic.cn/apache/hadoop/core/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz tar -xzvf hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
2.配置hadoop環境
切換到hadoop安裝路徑找到hadoop-1.2.1下的conf/hadoop-env.sh文件,使用vi打開。
vi ./hadoop-env.sh <!--在文件中添加下面語句--!> export JAVA_HOME=/usr/java/jdk1.6.0
配置conf/core-site.xml conf/hdfs-site.xml conf/mapred-site.xml
打開conf/core-site.xml文件,編輯以下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
打開conf/hdfs-site.xml文件,編輯以下:
<configuration> <property> <name>dfs.name.dir</name> <value>/usr/local/Hadoop/datalog1,/usr/local/hadoop/datalog2</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
打開conf/mapred-site.xml文件,編輯以下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
建議將HADOOP的bin目錄配置到PATH環境變量
PATH="$PATH":你的hadoop的bin目錄路徑
1.格式化分佈式文件系統HDFS
hadoop namenode -front
2.啓動hadoop環境
start-all.sh
3.中止hadoop運行
stop-all.sh
4.運行測試程序
hadoop jar $HADOOP_HOME/hadoop-examples-1.2.1.jar \
5.查看集羣狀態
jps