Cloudera Manager(CDH5)內部結構、功能包括配置文件、目錄位置等

1. 相關目錄 /var/log/cloudera-scm-installer : 安裝日誌目錄。
/var/log/* : 相關日誌文件（相關服務的及CM的）。
/usr/share/cmf/ : 程序安裝目錄。
/usr/lib64/cmf/ : Agent程序代碼。
/var/lib/cloudera-scm-server-db/data : 內嵌數據庫目錄。
/usr/bin/postgres : 內嵌數據庫程序。
/etc/cloudera-scm-agent/ : agent的配置目錄。
/etc/cloudera-scm-server/ : server的配置目錄。
/opt/cloudera/parcels/ : Hadoop相關服務安裝目錄。
/opt/cloudera/parcel-repo/ : 下載的服務軟件包數據，數據格式爲parcels。
/opt/cloudera/parcel-cache/ : 下載的服務軟件包緩存數據。
/etc/hadoop/* : 客戶端配置文件目錄。

2. 配置
Hadoop配置文件
 
配置文件放置於/var/run/cloudera-scm-agent/process/目錄下。如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置文件是經過Cloudera Manager啓動相應服務（如HDFS）時生成的，內容從數據庫中得到（即經過界面配置的參數）。
 
在CM界面上更改配置是不會當即反映到配置文件中，這些信息會存儲於數據庫中，等下次重啓服務時纔會生成配置文件。且每次啓動時都會產生新的配置文件。
 
CM Server主要數據庫爲scm基中放置配置的數據表爲configs。裏面包含了服務的配置信息，每一次配置的更改會把當前頁面的全部配置內容添加到數據庫中，以此保存配置修改歷史。

scm數據庫被配置成只能從localhost訪問，若是須要從外部鏈接此數據庫，修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,以後重啓數據庫。運行數據庫的用戶爲cloudera-scm。
 
查看配置內容
 
1). 直接查詢scm數據庫的configs數據表的內容。
2). 訪問REST API： http://hostname:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。

配置生成方式
CM爲每一個服務進程生成獨立的配置目錄（文件）。全部配置統一在服務端查詢數據庫生成（由於scm數據庫只能在localhost下訪問）生成配置文件，再由agent經過網絡下載包含配置文件的zip包到本地解壓到指定的目錄。
 
配置修改
CM對於須要修改的配置預先定義，對於沒有預先定義的配置,則經過在高級配置項中使用xml配置片斷的方式進行配置。而對於/etc/hadoop/下的配置文件是客戶端的配置，能夠在CM經過部署客戶端生成客戶端配置。
 
3. 數據庫 
Cloudera manager主要的數據庫爲scm,存儲Cloudera manager運行所須要的信息：配置，主機，用戶等。
 
4. CM結構 
CM分爲Server與Agent兩部分及數據庫（自帶更改過的嵌入Postgresql）。它主要作三件事件：
1). 管理監控集羣主機。
2). 統一管理配置。
3). 管理維護Hadoop平臺系統。
 
實現採用C/S結構，Agent爲客戶端負責執行服務端發來的命令，執行方式通常爲使用python調用相應的服務shell腳本。Server端爲Java REST服務，提供REST API，Web管理端經過REST API調用Server端功能，Web界面使用富客戶端技術（Knockout）。
1). Server端主體使用Java實現。
2). Agent端主體使用Python, 服務的啓動經過調用相應的shell腳本進行啓動，若是啓動失敗會重複4次調用啓動腳本。
3). Agent與Server保持心跳，使用Thrift RPC框架。
 
5. 升級 
在CM中能夠經過界面嚮導升級相關服務。升級過程爲三步：
1). 下載服務軟件包。
2). 把所下載的服務軟件包分發到集羣中受管的機器上。
3). 安裝服務軟件包，使用軟連接的方式把服務程序目錄連接到新安裝的軟件包目錄上。
 
6. 卸載 
sudo /usr/share/cmf/uninstall-scm-express.sh, 而後刪除/var/lib/cloudera-scm-server-db/目錄，否則下次安裝可能不成功。
 
7. 開啓postgresql遠程訪問 
CM內嵌數據庫被配置成只能從localhost訪問，若是須要從外部查看數據，數據修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,以後重啓數據庫。運行數據庫的用戶爲cloudera-scm。