初識hadoop

google大數據技術：

MapReduce
BigTable
GFS

HDFS是Google File System（GFS）的開源實現。
MapReduce是Google MapReduce的開源實現。
HBase是Google BigTable的開源實現。

1、大數據相關技術

Hive 下降了使用hadoop的門檻

Hbase相比於傳統的關係型數據庫 放棄了事務特性，追求更高的擴展和HDFS 提供數據的隨機讀寫和實時訪問，實現對錶數據的讀寫功能

zookeeper 監控hadoop集羣的節點狀態等

2、環境配置

hadoop使用java寫的 須要jdk環境
輸入：javac 查看java版本

安裝jdk apt-get install jdk*

添加環境變量
修改/etc/profile

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=/$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

source /etc/profile

wget命令用來獲取hadoop的安裝包

wget http://apache.stu.edu.tw/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

修改配置文件
一、hadoop-env.sh 修改$JAVA_HOME
二、core.site,xml 修改配置

<property>

    <name>hadoop.tmp.dir</name>

    <value>/hadoop</value>

  </property>

  <property>

    <name>dfs.name.dir</name>

    <value>/hadoop/name</value>

  </property>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

三、hdfs-site.xml 修改配置

<property>

<name>dfs.data.dir</name>

<value>/hadoop/data</value>

</property>

四、mapred-site.xml修改配置

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

再次編輯/etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_60
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/home/server/hadoop/hadoop-1.2.1
export CLASSPATH=$JRE_HOME/lib:$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

source一下
輸入hadoop生效以下

發現有一個問題

Warning: $HADOOP_HOME is deprecated.

解決辦法：
/etc/profile 文件最後加上 export HADOOP_HOME_WARN_SUPPRESS=1 ，而後輸入命令

source /etc/profile

使其生效便可。

3、簡單操做

格式化文件系統

hadoop namenode -format

格式化以後，輸入啓動命令：

/hadoop/bin$ sh start-all.sh

啓動後使用命令

jps

查看是否有如下的在運行程序

忽略bootstrap這個進程