Cloudera Certified Associate Administrator案例之Configure篇

　　　　　Cloudera Certified Associate Administrator案例之Configure篇

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　做者：尹正傑

版權聲明：原創做品，謝絕轉載！不然將追究法律責任。

 

 

一.下載CDH集羣中最新的配置文件

問題描述：
　　某個集羣的使用者須要經過客戶端登錄集羣，請使用CM下載HDFS和YARN的配置文件，保存到客戶端機器的"/home/yinzhengjie/hadoop/etc/hadoop"目錄下，並保持文件名不變。

解決方案：
　　能夠經過登錄CM WebUI界面下載，也能夠直接登錄服務器進行下載。

1>.使用正確的用戶名密碼登陸CM界面,點擊hdfs服務

2>. 下載HDFS的配置文件

 

3>.使用正確的用戶名密碼登陸CM界面,點擊yarn服務

4>.下載YARN服務的配置文件

5>.查看集羣后端存儲配置文件的路徑

[root@node101.yinzhengjie.org.cn ~]# ll /etc/hadoop/conf.cloudera.hdfs/　　　　　　　　#HDFS集羣存儲路徑
total 36
-rw-r--r-- 1 root root   19 Jun 14 12:27 __cloudera_generation__
-rw-r--r-- 1 root root   66 Jun 14 12:27 __cloudera_metadata__
-rw-r--r-- 1 root root 3556 Jun 14 12:27 core-site.xml
-rw-r--r-- 1 root root 2696 Jun 14 12:27 hadoop-env.sh
-rw-r--r-- 1 root root 1786 Jun 14 12:27 hdfs-site.xml
-rw-r--r-- 1 root root  314 Jun 14 12:27 log4j.properties
-rw-r--r-- 1 root root  315 Jun 14 12:27 ssl-client.xml
-rw-r--r-- 1 root root  634 Jun 14 12:27 topology.map
-rwxr-xr-x 1 root root 1594 Jun 14 12:27 topology.py
[root@node101.yinzhengjie.org.cn ~]# 
[root@node101.yinzhengjie.org.cn ~]# 
[root@node101.yinzhengjie.org.cn ~]# 
[root@node101.yinzhengjie.org.cn ~]# ll /etc/hadoop/conf.cloudera.yarn/　　　　　　#YARN集羣存儲路徑
total 48
-rw-r--r-- 1 root root     21 Jun 14 12:42 __cloudera_generation__
-rw-r--r-- 1 root root     66 Jun 14 12:42 __cloudera_metadata__
-rw-r--r-- 1 root root   3869 Jun 14 12:42 core-site.xml
-rw-r--r-- 1 root root    617 Jun 14 12:42 hadoop-env.sh
-rw-r--r-- 1 root root   1786 Jun 14 12:42 hdfs-site.xml
-rw-r--r-- 1 root root    314 Jun 14 12:42 log4j.properties
-rw-r--r-- 1 root root   5154 Jun 14 12:42 mapred-site.xml
-rw-r--r-- 1 root root    315 Jun 14 12:42 ssl-client.xml
-rw-r--r-- 1 root hadoop  634 Jun 14 16:41 topology.map
-rwxr-xr-x 1 root hadoop 1594 Jun 14 16:41 topology.py
-rw-r--r-- 1 root root   3653 Jun 14 12:42 yarn-site.xml
[root@node101.yinzhengjie.org.cn ~]# 
[root@node101.yinzhengjie.org.cn ~]# 

 

二.限制HDFS服務的日誌大小

問題描述：
　　根據管理要求，須要限制HDFS服務的日誌大小。其限制爲：NameNode服務保留4個日誌文件，總量不超過8GB；Secondary NameNode 服務也保留4個日誌文件，總量不超過8GB；兩個服務總佔用的磁盤空間 量不超過16GB。 

解決方案：
　　單個服務的單個日誌只要不超 過2GB，並將日誌數設爲4個，便可以知足要求。 

1>.使用正確的用戶名密碼登陸CM界面,點擊hdfs服務

2>.搜索關鍵字「NameNode Max Log Size」

3>.修改默認值200MB爲2GB並點擊保存按鈕

4>.搜索關鍵字「SecondaryNameNode Max Log Size」（中文對應："SecondaryNameNode 最大日誌文件備份"）

5>.修改日誌文件的備份數爲4

6>.重啓HDFS服務 

 

三.修改Namenode的堆內存

問題描述：
    集羣承接了日誌分析需求，將保存百萬、千萬數量級的文件，因 此須要擴大NameNode使用的堆內存，使其能夠管理儘量多的文件。物理內存的分配要求爲：節點總物理內存爲31GB，爲系統服務保留的內存爲6.2GB；NameNode和Secondary NameNode需設置相等大小的堆內存； 全部服務的堆內存均須要乘以1.3後計入總使用量中。須要爲NameNode和相關服務配置儘量大且知足要求的內存量，且不能觸發任何警告。

解決方案：
　　根據計算(31 - 6.2) / 1.3 = 19，所以 NameNode和Secondary NameNode各可設置9.5GB的堆內存。 

1>.使用正確的用戶名密碼登陸CM界面,點擊hdfs服務

2>.點擊配置，搜索關鍵字「Java Heap Size of NameNode in Bytes」（對應中文爲："NameNode 的 Java 堆棧大小（字節）"）

3>.設置NameNode和SencondName的堆內存爲9.5GB

 

4>.重啓HDFS集羣（須要注意的是，若是咱們設置的NameNode或者SecondNamenode的堆內存大小總和大於當前服務器內存時，咱們在重啓集羣時會啓動失敗！）

 

四.

 

 

 

五.