0001-CDH網絡要求(Lenovo參考架構)

1.組網配置

建議的Cloudera組網配置以下圖，主要包含數據網絡和管理網絡。

2.數據網絡

數據網絡是用於數據訪問的節點之間的私有集羣數據互連，好比在集羣內的節點之間移動數據，或者將數據導入到CDH集羣。CDH集羣一般會鏈接到企業內部的數據網絡。

須要2個TOR交換機：一個是用做帶外管理，一個是用於CDH的數據網絡。節點的帶外管理至少須要一個1GbE交換機。數據網絡的交換機通常爲10GbE，具體取決於工做負載。

推薦的1GbE交換機是Lenovo RackSwitch G8052。10Gb以太網交換機能夠提供額外的I/O帶寬，以得到更好的性能。推薦的10GbE交換機是Lenovo System NetworkingRackSwitch 8272。

每一個節點的兩個Broadcom 10GbE端口能夠綁定後鏈接到G8272交換機，從而提升性能或配置HA。數據網絡能夠配置爲使用VLAN。

注：不管是工做節點仍是管理節點，Cloudera都不支持multi-homing。

3.硬件管理網絡

硬件管理網絡是用於帶外硬件管理的1 GbE網絡。經過System x3650 M5服務器中的集成管理模塊II（IMM2），帶外管理可實現集羣節點的硬件級管理，如節點部署，基本輸入/輸出系統（BIOS）配置，狀態和電源狀態。

Hadoop不依賴於IMM2。根據客戶要求，管理連接能夠分隔到不一樣的VLAN或子網上。 管理網絡一般直接鏈接到客戶的管理網絡。

參考架構須要一個1 Gb以太網TOR交換機用於硬件管理網絡。管理員還能夠經過客戶管理網絡訪問集羣中的全部節點，在第一章的圖中，管理鏈路鏈接到集成的1 GBaseT適配器上的專用IMM2端口。

4.多機架的網絡

以上談到的數據網絡的參考架構配置是由單個網絡拓撲構成的。若是是多機架的架構，還須要一個聯想RackSwitch G8316核心交換機。 在這種狀況下，第二個Broadcom10 GbE端口能夠鏈接到第二個Lenovo RackSwitch G8272。G8272的過載率（over-subscription ratio）是1：2.

下圖展現了當CDH集羣安裝在多個機架上時，如何配置網絡。每一個機架的G8272交換機經過兩個聚合的40 GbE上行鏈路鏈接到核心G8316交換機。

注：爲了簡化這個圖，圖中僅繪製了一個G8272，可是推薦使用兩個G8272並配置爲HA。

跨機架的交換機推薦40GbE的，能夠用Lenovo System NetworkingRackSwitch G8316。最佳實踐是爲每一個機架安裝冗餘的核心交換機，以免單點故障。在每一個機架內，G8052交換機能夠選擇配置爲具備兩個G8272交換機的上行鏈路，以容許經過G8316核心交換機在集羣機架之間傳播管理VLAN。對於大型集羣，推薦使用Lenovo System NetworkingRackSwitch G8332，由於每一個40 Gb的端口的價格比G8316要更低。能夠配置成許多機架能互相訪問網絡，但可能須要作一些特定的部署配置來知足超過3個機架的快速尋址。

若是開始規劃的就是多機架的解決方案，或者隨着系統的擴容後面慢慢的加入了一些機架，CDH管理服務相關的節點咱們建議分開部署在不一樣的機架從而最大化容錯。

5.CDH其餘網絡要求

Hadoop網絡要求：

1.全部的Hadoop服務器節點應該是獨有的網絡，而不存在跟其餘應用程序的節點共享網絡I/O的狀況。

2.每一個服務器應該都配置靜態IP。若是配置了動態IP，在機器重啓或者DNS租約過時時，機器的IP地址會改變，這將致使Hadoop服務故障。

3.專用TOR交換機。

4.專用的核心交換刀片或者核心交換機。

5.儘可能保證應用服務器與Hadoop「近」一些。

6.CDH只支持IPv4，不支持IPv6

7.機架之間的網絡鏈接速度應該足夠快。

8.確保網絡接口對於集羣中的全部節點應該是一致的。（好比MTU設置應該同樣）

9.關閉全部節點的Huge Page compaction

10.確保集羣中的全部網絡鏈接都會被監控，好比衝突和丟包問題。以方便後期進行排障。