MapReduce
BigTable
GFSjava
HDFS是Google File System(GFS)的開源實現。
MapReduce是Google MapReduce的開源實現。
HBase是Google BigTable的開源實現。node
Hive 下降了使用hadoop的門檻數據庫
Hbase相比於傳統的關係型數據庫 放棄了事務特性,追求更高的擴展和HDFS 提供數據的隨機讀寫和實時訪問,實現對錶數據的讀寫功能apache
zookeeper 監控hadoop集羣的節點狀態等bootstrap
hadoop使用java寫的 須要jdk環境
輸入:javac 查看java版本jvm
安裝jdk apt-get install jdk*oop
添加環境變量
修改/etc/profile大數據
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export JRE_HOME=/$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH source /etc/profile
wget命令用來獲取hadoop的安裝包google
wget http://apache.stu.edu.tw/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
修改配置文件
一、hadoop-env.sh 修改$JAVA_HOME
二、core.site,xml 修改配置spa
<property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
三、hdfs-site.xml 修改配置
<property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property>
四、mapred-site.xml修改配置
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
再次編輯/etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_60 export JRE_HOME=$JAVA_HOME/jre export HADOOP_HOME=/home/server/hadoop/hadoop-1.2.1 export CLASSPATH=$JRE_HOME/lib:$JAVA_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
source一下
輸入hadoop生效以下
發現有一個問題
Warning: $HADOOP_HOME is deprecated.
解決辦法:
/etc/profile 文件最後加上 export HADOOP_HOME_WARN_SUPPRESS=1 ,而後輸入命令
source /etc/profile
使其生效便可。
格式化文件系統
hadoop namenode -format
格式化以後,輸入啓動命令:
/hadoop/bin$ sh start-all.sh
啓動後使用命令
jps
查看是否有如下的在運行程序
忽略bootstrap這個進程