hadoop徹底分佈式的搭建的理解

hadoop徹底分佈式的搭建思路?node

  1. jdk必須安裝,全部機器都是同樣的。環境變量是PATH,可是在配置PATH的時候,必定要加上.;這是系統原來的環境變量,若是不加這個,可能再次開不出機器。ssh

  2. Hadoop安裝,能夠放在yarn,也能夠不放在yarn,環境變量HADOOP_HOME,JAVA_HOME(這個主要是切換jdk來用的,j2ee就是這樣的)分佈式

  3. 全部機器的host裏面必須有對應的主機,各個子節點的IP地址,以及域名對應關係,則必須修改各個機器的hostname的域名,重啓立馬生效。ide

  4. 配置ssh協議,首先各個節點,先配置本身的,而後遠程登陸到本身,不須要登陸密碼oop

  5. 各個節點必須互通,則能夠將各個節點的公鑰都發給主節點,這就意味着全部全部節點均可以訪問主機不須要祕鑰,而後主機將全部發過來的祕鑰加到本身的authorized_keys中,這就意味着全部節點的公鑰都在此(包括主節點的)而後將其發送給各個節點,這樣你們都擁有不少公鑰,則均可以互訪,爲何這麼設計,爲何直接各個機器配好ssh,都互相複製下,不也同樣,並且公鑰只有一份,由於公鑰裏面攜帶了IP地址和用戶名,就必須不同,由於不一樣的IP地址。設計

  6. 配置好了以後,如何檢測?hadoop

    能夠檢測它的namenode和mapreduce管理界面,一個是50070,一個是50030ci

相關文章
相關標籤/搜索