CentOS7安裝CDH 第九章：CDH中安裝Kafka

相關文章連接

CentOS7安裝CDH 第一章：CentOS7系統安裝

CentOS7安裝CDH 第二章：CentOS7各個軟件安裝和啓動

CentOS7安裝CDH 第三章：CDH中的問題和解決方法

CentOS7安裝CDH 第四章：CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章：CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章：CDH的管理-CDH5.12

CentOS7安裝CDH 第七章：CDH集羣Hadoop的HA配置

CentOS7安裝CDH 第八章：CDH中對服務和機器的添加與刪除操做

CentOS7安裝CDH 第九章：CDH中安裝Kafka

CentOS7安裝CDH 第十章：CDH中安裝Spark2

CentOS7安裝CDH 第十一章：離線升級CDH版本

CentOS7安裝CDH 第十二章：YARN的資源調優

CentOS7安裝CDH 第十三章：CDH資源池配置

CentOS7安裝CDH 第十四章：CDH的優化

1. CDH官網Kafka的安裝教程網址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r

2. 下載對應的Kafka版本

一、查看CDH和Kafka的版本對應列表：

查看網址：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

二、由於安裝的CDH版本爲5.10或5.12，故選擇的Kafka版本爲2.2.x和0.10.2，此時去網站找到對應的Kafka版本：

網址：https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br

三、點擊對應的下載地址，下載該Kafka的parcel包（需更改sha1的後綴名）：

3. 安裝Kafka服務

一、將Kafka的parcel包（3個文件）上傳到/var/www/html/kafka_parcel目錄下，需配置好https服務，請參考上述CDH安裝時的方法配置，在瀏覽器上能訪問到以下場景便可：

二、點擊CDH主頁面中的主機下面的Parcel按鈕：

三、點擊Parcel界面的配置按鈕，配置Kafka的地址，該地址默認是官網地址，但在CDH的離線安裝時已將全部的在線地址刪除，因此在這加上Kafka的Parcel包的離線地址便可：

四、在Parcel界面，點擊Kafka的下載按鈕：

五、依次執行Kafka的分配和激活：

4. 將Kafka服務添加到CDH中

一、在CDH的主界面點擊添加服務按鈕，並選擇Kafka服務：

二、給Kafka分配節點（Kafka後面2個服務通常狀況下不選）：

三、Kafka的配置文件進行配置：

a)  配置Kafka的文件存放目錄，由於Kafka是依賴Zookeeper的，因此Kafka的文件也是存放在Zookeeper的目錄中，若是要卸載Kafka時，須要將這些Kafka的文件也刪除，因此能夠把Kafka的文件存放在一個目錄中：

Kafka的文件存放目錄：

進入Zookeeper的文件管理界面（命令行）：

b) 由於Kafka是一個消息中間鍵，有將生產者生產的信息進行緩存的操做，因此在配置Kafka的數據存儲目錄時須要注意，將數據存放到一個比較大的磁盤中，該數據存放的目錄以下配置所示：

c) 在卸載重裝Kafka時，須要將Zookeeper目錄下的Kafka文件，以及Kafka數據存放的目錄都清空，請注意是每一個節點都要清空，不然不能重裝。

四、啓動Kafka服務，會發現Kafka服務不能成功啓動，報錯以下：

此時爲主機的內存不足，返回Kafka配置文件界面，修改memory中的Java Heap Size of Broker值爲512M（若是機器內存充足，能夠再大一些），以下：

修改以後去CDH的主界面重啓Kafka，啓動成功，以下所示：