Hadoop_day01

Hadoop7天課程

課程體系

Day01>>>>>>>>>>>>>>>>>>>>

hadoop項目簡介

hadoop簡介

hadoop前景

apache的開源項目

• 解決問題：（核心）

  海量數據的存儲（HDFS）

  ---Hadoop分佈式文件系統，解決機器怎麼存儲

  海量數據的分析（MapReduce）

  ----分佈的計算模型，解決機器怎麼幹活，區分主從

  資源管理調度（YARN）

  ---另外一個資源調用系統，hadoop2.0以後出現，之前只能MapReduce

  （不侷限於mapreduce：storm實時流、mpi等）

• 做者：Doug Cutting

  Hadoop的商業版本cdh，已經提供技術支持

  lucene的做者

• 受Google三篇論文的啓發(GFS、MapReduce、BigTable)

  gfs谷歌的分佈式文件系統---hdfs數據存儲

  mapreduce谷歌分佈式計算模型----mapreduce數據分析

  bigtable大表數據庫---hbase列式數據庫（介於關係型和nosql之間）怎麼存儲

hadoop能作什麼？

hadoop擅長日誌分析，主要處理離線數據（分析之前產生的數據），facebook就用Hive來進行日誌分析，2009年時facebook就有非編程人員的30%的人使用HiveQL進行數據分析；淘寶搜索中的自定義篩選也使用的Hive；利用Pig還能夠作高級的數據處理，包括Twitter、LinkedIn 上用於發現您可能認識的人，能夠實現相似Amazon.com的協同過濾的推薦效果。淘寶的商品推薦也是！在Yahoo！的40%的Hadoop做業是用pig運行的，包括垃圾郵件的識別和過濾，還有用戶特徵建模。（2012年8月25新更新，天貓的推薦系統是Hive，少許嘗試mahout！）

storm作實時推薦

hadoop的普遍應用

哪些公司使用hadoop

Hadoop被公認是一套行業大數據標準開源軟件，在分佈式環境下提供了海量數據的處理能力。幾乎全部主流廠商都圍繞Hadoop開發工具、開源軟件、商業化工具和技術服務。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明顯增長了Hadoop方面的投入

hadoop在淘寶

• 從09年開始，用於對海量數據的離線處理，例如對日誌的分析，交易記錄的分析等
• 規模從當初的3~4百臺節點，增長到如今的一個集羣有3000個節點，淘寶如今已經有2~3個這樣的集羣
• 在支付寶的集羣規模也有700臺節點，使用Hbase對用戶的消費記錄能夠實現毫秒級查詢

擴展知識：參照淘寶雙十一解決方案

淘寶數據魔方的架構

淘寶數據魔方的真實面目

hadoop生態圈

版本

• Apache

官方版本(2.4.1)

• Cloudera---cdh（hadoop的商業版本）

    使用下載最多的版本，穩定，有商業支持，在Apache的基礎上打上了一些patch。推薦使用。

• HDP(Hortonworks Data Platform)

Hortonworks公司發行版本。

Hadoop的核心

Hdfs分佈式文件系統

Mapreduce並行計算框架

Yarn資源管理調度系統（運行符合規則的程序）

1.0和2.0

Yarn的出現使得hadoop能夠支持多個計算框架（不只是mapreduce）

核心之一---yarn

核心之二--hdfs

怎麼解決海量數據的存儲

經過水平擴展機器數量來提升存儲數據的能力

hdfs的架構

• 主從結構

  主節點，只有一個: namenode，負責管理

  從節點，有不少個: datanode 負責存儲

• namenode負責：

  接收用戶操做請求

  維護文件系統的目錄結構

  管理文件與block之間關係，block與datanode之間關係

• datanode負責：

  存儲文件

  文件被分紅block存儲在磁盤上

  爲保證數據安全，文件會有多個副本

核心之三--mapreduce編程模型

怎樣解決海量數據的計算

map：大任務分解爲若干個小任務

reduce：小任務再彙總整合成大任務的結果

hadoop集羣的物理分佈：

Rack：機架、switch：交換機、datanode：hdfs的小弟（從節點）

單點物理結構

Hadoop部署方式

本地模式：eclipse調試用，只啓一個mapper一個reduce

僞分佈模式：一臺機器模擬多臺機器

集羣模式：真實的生產環境

hadoop的特色

• 擴容能力（Scalable）：能可靠地（reliably）存儲和處理千兆字節（PB）數據。
• 成本低（Economical）：能夠經過普通機器組成的服務器羣來分發以及處理數據。這些服務器羣總計可達數千個節點。
• 高效率（Efficient）：經過分發數據，hadoop能夠在數據所在的節點上並行地（parallel）處理它們，這使得處理很是的快速。
• 可靠性（Reliable）：hadoop能自動地維護數據的多份副本，而且在任務失敗後能自動地從新部署（redeploy）計算任務。

搭建hadoop的僞分佈環境

1.準備Linux環境

    1.0點擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段：192.168.1.0 子網掩碼：255.255.255.0 -> apply -> ok

        回到windows --> 打開網絡和共享中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP：192.168.1.110 子網掩碼：255.255.255.0 -> 點擊肯定

        在虛擬軟件上 --My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok    

    1.1修改主機名

    

        vim /etc/sysconfig/network

        NETWORKING=yes

        HOSTNAME=itcast01 ###

    1.2修改IP

        兩種方式：

        第一種：經過Linux圖形界面進行修改（強烈推薦）

            進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網絡System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇爲manual -> 點擊add按鈕 -> 添加IP：192.168.1.119 子網掩碼：255.255.255.0 網關：192.168.1.1 -> apply

        第二種：修改配置文件方式（屌絲程序猿專用）

            vim /etc/sysconfig/network-scripts/ifcfg-eth0

            DEVICE="eth0"

            BOOTPROTO="static"

            HWADDR="00:0C:29:2C:BF:E3"

            IPV6INIT="yes"

            NM_CONTROLLED="yes"

            ONBOOT="yes"

            TYPE="Ethernet"

            UUID="ce22eeca-ecde-4536-8cc3-ef0fc36d6a8c"

            IPADDR="192.168.56.32 "

            NETMASK="255.255.255.0"

            GATEWAY="192.168.56.1"

    1.3修改主機名和IP的映射關係

    ----x至關於本地的dns

        vim /etc/hosts

        192.168.56.31    jkdong01

    1.4關閉防火牆

        #查看防火牆狀態

        service iptables status

        #關閉防火牆

        service iptables stop

        #查看防火牆開機啓動狀態

        chkconfig iptables --list

        #關閉防火牆開機啓動

        chkconfig iptables off

    1.5重啓Linux

        reboot

2.安裝JDK

    2.1上傳（ftp工具）

    2.2解壓jdk

        #建立文件夾

        mkdir /usr/java

        #解壓

        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

    2.3將java添加到環境變量中

        vim /etc/profile

        #在文件最後添加

        export JAVA_HOME=/usr/java/jdk1.7.0_55

        export PATH=$PATH:$JAVA_HOME/bin

        #刷新配置

        source /etc/profile

3.安裝Hadoop

    3.1上傳hadoop安裝包

    3.2解壓hadoop安裝包

        #解壓到/itcast/目錄下

        tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/

    3.3修改配置文件（5個）

Cd etc/hadoop

        第一個：hadoop-env.sh—指定環境變量

        #在27行修改

        第二個：core-site.xml—hadoop核心配置

        

        第三個：hdfs-site.xml—hdfs節點配置

        

        第四個：mapred-site.xml.template 須要重命名： mv mapred-site.xml.template mapred-site.xml

            

第五個：yarn-site.xml

    

    3.4將hadoop添加到環境變量

        命令：vim /etc/profile

                再執行：source /etc/profile刷新配置

    3.5格式化HDFS（namenode）第一次使用時要格式化

        hadoop namenode -format（過期了可是依然可用）

hdfs namenode -format（現用的格式化命令）

    3.6啓動hadoop

        先啓動HDFS

        sbin/start-dfs.sh

        再啓動YARN

        sbin/start-yarn.sh

    3.7驗證是否啓動成功

        使用jps命令驗證

4.配置ssh免密碼登錄

Ssh即安全的shell命令

    生成ssh免登錄密鑰

    cd ~，進入到個人home目錄

    cd .ssh/

    ssh-keygen -t rsa （四個回車）

    執行完這個命令後，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

    將公鑰拷貝到要免登錄的機器上

/root/.ssh目錄下：cp id_rsa.pub authorized_keys

    或

    ssh-copy-id 192.168.56.32

Ssh免密登陸的原理

這樣server A就能夠對server B進行免密碼登陸

Day02>>>>>>>>>>>>>>>>>>>>

課程安排：

• 分佈式文件系統與HDFS
• HDFS體系結構與基本概念
• HDFS的shell操做
• java接口及經常使用api

hdfs原理

Datanode會橫向流水線方式複製文件產生副本

上傳的文件還會分block塊（hadoop塊的大小128M）

分佈式文件系統

用一個系統來管理多臺機器上的文件（冗餘存儲）

容許經過網絡分享文件和存儲空間

通透性：訪問遠程文件就像訪問本地資源同樣

容錯：持續運行而不會使數據損失

Hdfs就是一種分佈式文件系統，不支持併發寫（按block塊的順序寫），小文件不適合（hadoop1.x）

常見分佈式文件系統：gfs（谷歌文件系統），hdfs、Lustre。。。

 

Day03>>>>>>>>>>>>>>>>>>>>

 

Day04>>>>>>>>>>>>>>>>>>>>

 

Day05>>>>>>>>>>>>>>>>>>>>

 

Day06>>>>>>>>>>>>>>>>>>>>

 

Day07>>>>>>>>>>>>>>>>>>>>