Hadoop科普文——常見的45個問題解答(CSDN)

Hadoop科普文——常見的45個問題解答

1.Hadoop集羣能夠運行的3個模式？

• 單機（本地）模式
• 僞分佈式模式
• 全分佈式模式

2.  單機（本地）模式中的注意點？

在單機模式（standalone）中不會存在守護進程，全部東西都運行在一個JVM上。這裏一樣沒有DFS，使用的是本地文件系統。單機模式適用於開發過程當中運行MapReduce程序，這也是最少使用的一個模式。

3.  僞分佈模式中的注意點？

僞分佈式（Pseudo）適用於開發和測試環境，在這個模式中，全部守護進程都在同一臺機器上運行。

4.  VM是否能夠稱爲Pseudo？

不是，兩個事物，同時Pseudo只針對Hadoop。

5.  全分佈模式又有什麼注意點？

全分佈模式一般被用於生產環境，這裏咱們使用N臺主機組成一個Hadoop集羣，Hadoop守護進程運行在每臺主機之上。這裏會存在Namenode運行的主機，Datanode運行的主機，以及task tracker運行的主機。在分佈式環境下，主節點和從節點會分開。

6.  Hadoop是否遵循UNIX模式？

是的，在UNIX用例下，Hadoop還擁有「conf」目錄。

7.  Hadoop安裝在什麼目錄下？

Cloudera和Apache使用相同的目錄結構，Hadoop被安裝在cd/usr/lib/hadoop-0.20/。

8.  Namenode、Job tracker和task tracker的端口號是？

Namenode，70；Job tracker，30；Task tracker，60。

9.  Hadoop的核心配置是什麼？

Hadoop的核心配置經過兩個xml文件來完成：1，hadoop-default.xml；2，hadoop-site.xml。這些文件都使用xml格式，所以每一個xml中都有一些屬性，包括名稱和值，可是當下這些文件都已不復存在。

10.  那當下又該如何配置？

Hadoop如今擁有3個配置文件：1，core-site.xml；2，hdfs-site.xml；3，mapred-site.xml。這些文件都保存在conf/子目錄下。

11.  RAM的溢出因子是？

溢出因子（Spill factor）是臨時文件中儲存文件的大小，也就是Hadoop-temp目錄。

12.  fs.mapr.working.dir只是單一的目錄？

fs.mapr.working.dir只是一個目錄。

13.  hdfs-site.xml的3個主要屬性？

• dfs.name.dir決定的是元數據存儲的路徑以及DFS的存儲方式（磁盤或是遠端）
• dfs.data.dir決定的是數據存儲的路徑
• fs.checkpoint.dir用於第二Namenode

14.  如何退出輸入模式？

退出輸入的方式有：1，按ESC；2，鍵入:q（若是你沒有輸入任何當下）或者鍵入:wq（若是你已經輸入當下），而且按下Enter。

15.  當你輸入hadoopfsck /形成「connection refused java exception’」時，系統究竟發生了什麼？

這意味着Namenode沒有運行在你的VM之上。

16.  咱們使用Ubuntu及Cloudera，那麼咱們該去哪裏下載Hadoop，或者是默認就與Ubuntu一塊兒安裝？

這個屬於Hadoop的默認配置，你必須從Cloudera或者Edureka的dropbox下載，而後在你的系統上運行。固然，你也能夠本身配置，可是你須要一個Linux box，Ubuntu或者是Red Hat。在Cloudera網站或者是Edureka的Dropbox中有安裝步驟。

17.  「jps」命令的用處？

這個命令能夠檢查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工做。

18.  如何重啓Namenode？

• 點擊stop-all.sh，再點擊start-all.sh。
• 鍵入sudo hdfs（Enter），su-hdfs （Enter），/etc/init.d/ha（Enter），及/etc/init.d/hadoop-0.20-namenode start（Enter）。

19.  Fsck的全名？

全名是：File System Check。

20.  如何檢查Namenode是否正常運行？

若是要檢查Namenode是否正常工做，使用命令/etc/init.d/hadoop-0.20-namenode status或者就是簡單的jps。

21.  mapred.job.tracker命令的做用？

可讓你知道哪一個節點是Job Tracker。

22.  /etc /init.d命令的做用是？

/etc /init.d說明了守護進程（服務）的位置或狀態，實際上是LINUX特性，和Hadoop關係不大。

23.  如何在瀏覽器中查找Namenode？

若是你確實須要在瀏覽器中查找Namenode，你再也不須要localhost:8021，Namenode的端口號是50070。

24.  如何從SU轉到Cloudera？

從SU轉到Cloudera只須要鍵入exit。

25.  啓動和關閉命令會用到哪些文件？

Slaves及Masters。

26.  Slaves由什麼組成？

Slaves由主機的列表組成，每臺1行，用於說明數據節點。

27.  Masters由什麼組成？

Masters一樣是主機的列表組成，每臺一行，用於說明第二Namenode服務器。

28.  hadoop-env.sh是用於作什麼的？

hadoop-env.sh提供了Hadoop中. JAVA_HOME的運行環境。

29.  Master文件是否提供了多個入口？

是的你能夠擁有多個Master文件接口。

30.  hadoop-env.sh文件當下的位置？

hadoop-env.sh如今位於conf。

31.  在Hadoop_PID_DIR中，PID表明了什麼？

PID表明了「Process ID」。

32.  /var/hadoop/pids用於作什麼？

/var/hadoop/pids用來存儲PID。

33.  hadoop-metrics.properties文件的做用是？

hadoop-metrics.properties被用作「Reporting」，控制Hadoop報告，初始狀態是「not to report」。

34.  Hadoop需求什麼樣的網絡？

Hadoop核心使用Shell（SSH）來驅動從節點上的服務器進程，並在主節點和從節點之間使用password-less SSH鏈接。

35.  全分佈式環境下爲何需求password-less SSH？

這主要由於集羣中通訊過於頻繁，Job Tracker須要儘量快的給Task Tracker發佈任務。

36.  這會致使安全問題嗎？

徹底不用擔憂。Hadoop集羣是徹底隔離的，一般狀況下沒法從互聯網進行操做。不同凡響的配置，所以咱們徹底不須要在乎這種級別的安全漏洞，好比說經過互聯網侵入等等。Hadoop爲機器之間的鏈接提供了一個相對安全的方式。

37.  SSH工做的端口號是？

SSH工做的端口號是NO.22，固然能夠經過它來配置，22是默認的端口號。

38.  SSH中的注意點還包括？

SSH只是個安全的shell通訊，能夠把它當作NO.22上的一種協議，只須要配置一個密碼就能夠安全的訪問。

39.  爲何SSH本地主機須要密碼？

在SSH中使用密碼主要是增長安全性，在某些狀況下也根本不會設置密碼通訊。

40.  若是在SSH中添加key，是否還須要設置密碼？

是的，即便在SSH中添加了key，仍是須要設置密碼。

41.  假如Namenode中沒有數據會怎麼樣？

沒有數據的Namenode就不能稱之爲Namenode，一般狀況下，Namenode確定會有數據。

42.  當Job Tracker宕掉時，Namenode會發生什麼？

當Job Tracker失敗時，集羣仍然能夠正常工做，只要Namenode沒問題。

43.  是客戶端仍是Namenode決定輸入的分片？

這並非客戶端決定的，在配置文件中以及決定分片細則。

44.  是否能夠自行搭建Hadoop集羣？

是的，只要對Hadoop環境足夠熟悉，你徹底能夠這麼作。

45.  是否能夠在Windows上運行Hadoop？

你最好不要這麼作，Red Hat Linux或者是Ubuntu纔是Hadoop的最佳操做系統。在Hadoop安裝中，Windows一般不會被使用，由於會出現各類各樣的問題。所以，Windows絕對不是Hadoop的推薦系統。

 

原文連接： Hadoop Interview Questions – Setting up Hadoop Cluster!