openstack kolla多節點容器化環境安裝

　　很久沒寫隨筆了，6月份趁着在公司沒有太忙的事兒，把公司的服務器進行了虛擬化，採用的openstack當前的容器化方案kolla。

　　總體安裝完的感覺時，小白感受本身是個大牛！哈哈，開玩笑，因爲之前是開發虛擬化軟件的，因此對虛擬化相關概念比較熟悉，安裝起來比普通的開發人員要順手一下。下面記錄一下安裝的流程。

　

　　首先，感謝openstack基金會推出的kolla解決方案，基於容器化的解決方案，讓咱們更加便捷的實現服務器資源的虛擬化，不過我並不能確保節點過多（具體數量我也不確認，不過有安裝50節點的介紹，說也沒太大問題）的話，是否會有意想不到的問題，只能你們本身去測試。個人安裝環境當前是3個節點。

　　==================================================

　　其次，特別的感謝九州雲的陳沙克老師的文章，地址以下：

　　http://www.chenshake.com/kolla-installation/

　　陳老師的文章簡明扼要的指出了安裝kolla時，須要注意的點以及安裝的流程與相關包，你們若是安裝單節點測試，能夠根據陳老師的文字進行。

　　==================================================

　　其實多節點的安裝，跟單節點的安裝沒有太大區別，最終我獲得的經驗是網絡的規劃是相當重要的，kolla當前可以支持節點的拓展，要規劃好網絡。

　　安裝環境介紹：

　　1）三臺物理機均使用三塊網卡，一塊網卡虛擬機內部網絡使用（配置ip），一塊網卡作浮動ip（不要配置ip，要記得啓用），一塊網卡單獨給api服務使用。

　　2）三臺物理機，一臺作控制節點與網絡節點，另外兩臺作計算與存儲。注意：控制節點須要爲奇數個，不然容易出現腦裂。

　　

　　剩下的爲軟件包的安裝，下面摘錄自陳老師的文章：

　　各節點均作一下的配置：

1. 關閉Selinux
2. 關閉Firewalld
3. 關閉NetworkManager
4. 設置hostname FQDN，讓機器能夠經過hostname進行互相訪問，統一 /etc/hosts文件
5. 同步時間，先確保時間是基本一致，和硬件也統一時間
6. 設置docker registry 服務器位置，設置不安全的訪問。
7. 檢查機器是否支持KVM
8. 設置docker源，安裝docker 1.12.5
9. 設置訪問私有的registry 源
10. 打開Docker 的 shared mount 功能
11. 設置網卡，網絡，符合部署需求。若是須要bonding，須要把bonding作好。
12. 對於要部署Ceph的節點的磁盤，進行打標籤
13. 檢查網絡，重點，確保裝好後，網絡功能正常。

　　在控制節點，咱們須要作的工做，

1. 關閉Selinux
2. 關閉Firewalld
3. 關閉NetworkManager
4. 設置hostname FQDN，讓機器能夠經過hostname進行互相訪問，統一 /etc/hosts文件
5. 同步時間，先確保時間是基本一致，和硬件也統一時間
6. 設置docker源，安裝docker 1.12.5

　　全面6條，都是相同的，不一樣的是須要在控制節點作以下操做：

1. 搭建私有的registry服務器，存放build好的OpenStack Docker鏡像
2. 安裝ansible
3. 部署kolla-ansible
4. 若是你願意，能夠把docker服務安裝在單獨的節點，kolla安裝節點配置服務地址便可。

 

　　安裝完畢後有幾個問題可能會碰到：

　　一、若是邏輯卷建立失敗，多是iscsi服務未找到，這時cinder_conf中添加以下配置：

　　　　iscsi_ip_prefix=192.168.1 
　　　　iscsi_ip_address=192.168.1.1

　　　　根據實際環境配置。

　　二、出現了tgtd容器佔用空間較大的狀況，具體緣由我扔在分析。 前期預留足夠的空間給docker使用。

　　　　問題緣由已經找到， 解決方式以下：

　　　　1）docker inspect tgtd 查看容器詳細信息， 查找參數LOGPATH

　　　　2)  進入到logpath目錄，du -sh *查看日誌大小

　　　　3）  cat /dev/null > LOGPATH   清理日誌，釋放空間。　

　　　　不過這也是暫時的解決方案，這個地方應該是kolla啓動docker容器時，--log-driver參數沒有置爲none，致使日誌輸出量如此大。我會再找時間研究一下。

　　三、docker安裝後，建議對相關配置進行優化，包括docker最大佔用空間值等，防止docker佔用太多空間。

 

　　目前服務已經運行了19個多月，相對比較穩定。