詳細解析FCoE協議

詳細解析FCoE協議

FCoE標準是博科首先提出來的。FCoE是由包括Brocade、IBM, HP,EMC, NetApp, Cisco, Emulex, Broadcom, Intel, Nuova, QLogic, and Sun廠商所共同支持與貢獻T11標準委員會的協議。協議的具體內容是指FCoE直接在加強型無損以太網基礎設施上傳輸光纖信道信號的功能的協議。FCoE能夠提供標準的光纖通道原有的多種服務如發現、全局名稱命名、分區等，並且這些服務均可以照標準原有的運做，保有FC原有的低延遲性、高性能。FCoE採用加強型以太網做爲物理網絡傳輸架構，可以提供標準的光纖通道有效內容載荷。所以，廠商也已經開發了針對無損10Gb以太網的數據中心架構。而此以太網標準被稱爲「聚合加強型以太網（CEE）」，能夠避免相似TCP/IP協議的開銷和數據包損失。

 

在過去的十年中，光纖通道做爲存儲局域網的一項鍊接技術取得了很大的成功。在這個過程當中，光纖通道提供了普遍的全新存儲解決方案，包括更好的塊傳送性能，高可用性的存儲存取，先進的數據中心備份及數據保護，基於虛擬化的高層存儲服務以及高級管理工具。不過在近幾年中，老是有各類各樣的新興技術，例如InfiniBand、NAS和iSCSI，不時地引起人們對於光纖通道(Fibre Channel，簡稱FC)發展將來的爭論。

　　要不是可以推進成本或性能優點的發展，新技術很難取代已有的的成熟技術。例如，儘管令牌環(TokenRing)相較以太網有更高的性能(16Mb/s vs. 10Mb/s)和更強的功能，但以太網依仗其規模經濟優點在局域網傳輸領域上順利取代了令牌環。相比較之下，ATM網絡也沒法取代以太網成爲桌面系統的鏈接標準，這主要是因爲它沒法與以太網龐大的安裝基礎相兼容。ATM的LANE(局域網仿真)實在存在太多問題。儘管InfiniBand以高性能的服務器集羣應用證實了它在高端用戶中的價值，可是它一直沒法在局域網或存儲局域網傳輸上與其它技術相抗衡。InfiniBand獨特的佈線方式和高速傳輸模式下的距離限制使得IT管理者們紛紛放棄高攀的念頭。

做爲存儲業內著名的技術專家與出版了許多有關SAN技術書籍的做家，Tom Clark曾擔任全球網絡存儲工業協會(SNIA)的理事與McDATA公司解決方案和技術總監，現爲博科(Brocade)公司技術市場部的首席工程師。Tom Clark擁有近二十年的系統工程和設計實踐經驗，並且掌握普遍的數據通信和聯網專門技術。上圖即爲TomClark 2005年來華主講「存儲網絡虛擬化研討會」後接收本站記者專訪時照片(手中的書就是他當年探討存儲虛擬化技術的新做)。

　　光纖通道做爲一項成功的技術解決了許多與高性能數據塊傳輸相關的難題。畢竟，光纖通道是一種模擬數據中心大型機環境的傳輸架構。大多的傳輸通道每每都是以高帶寬和低負荷爲手段，在最大程度上實現數據中心環境中大量數據的高效傳輸。爲了保持穩定一致的性能，光纖通道藉助包括Buffer-to-bufferCredit等在內的內部機制來下降網絡阻塞的潛在影響。若是丟失一個幀，光纖通道不會像TCP同樣立刻中止直到恢復丟失的幀，而是以數千兆的傳輸速率從新發送整個序列的幀。光纖通道擁有一系列領先的存儲機制，例如自動尋址、設備發現、光纖架構和狀態變動通知等，這些機制爲主機(服務器)和目標設備(存儲系統)之間的交換處理提供了便利。

　　光纖通道也爲高可靠和高可用性架構引進了一系列更高層的服務。光纖路由協議、基於策略的路由、基於硬件的中繼、虛擬光纖網絡、光纖網絡安全以及故障隔離等服務都成爲了實現穩定傳輸的基礎。針對存儲虛擬化和數據保護所提供的，基於光纖網絡的應用服務也進一步促進了存儲管理的簡化及自動化。光纖通道標準和符合標準的產品均針對存儲數據進行了優化，最大程度上提升了數據的性能和可用性。所以，基於光纖通道的SAN爲全球主要的企業和學院提供着強大的技術支持。

　　最近業內發佈了一項新的光纖通道標準，以實如今以太網上運行光纖通道協議。這項名爲FCoE(FibreChannel over Ethernet )協議但願能在現有光纖通道的成功基礎上，藉助於以太網的力量從新保持自身在數據中心存儲局域網中的霸主地位。一些業內分析人士表示，FCoE是光纖通道廠商與iSCSI陣營進行競爭的新嘗試。畢竟iSCSI也是經過以太網傳輸數據存儲塊。然而當咱們拿FCoE與iSCSI作比較時會發現，實際上這兩個協議解決是徹底不一樣的問題。iSCSI經過TCP/IP協議在可能產生損耗或阻塞的局域網和寬帶網上傳送數據存儲塊。相比之下，FCoE則只是利用了以太網的拓展性，並保留了光纖通道在高可靠性和高效率方面的優點。屆時這些優點還將在10G以太網上有更好的體現。咱們目前暫且將其稱爲CEE(Converged EnhancedEthernet)。

　　FCoE並非要代替傳統的光纖通道技術，而是在不一樣鏈接傳輸層上對光纖通道進行拓展。正如圖1所示，FCoE的價值在於在一樣的網絡基礎體系上用戶有權利選擇是將整個邏輯網絡所有當成傳輸存儲數據與信號的專用局域網，或是做爲混合存儲數據、信息傳送、網絡電話、視頻流以及其它數據傳輸的共用網絡。FCoE的目標是在繼續保持用戶對光纖通道SAN所指望的高性能和功能性的前提下，將存儲傳輸融入以太網架構。FCoE還特別針對刀片服務器平臺提供了一種簡化接口和佈線的方法。

　　

　　圖一 ：在普通的以太網架構上支持多協議

　　FCoE目前已經正式提交給了管理光纖通道標準的官方組織--美國國家標準委員會(ANSI)T11 委員會進行審批。而且會收錄到新的FibreChannel Backbone Generation 5 (FC-BB-5)規範中。因爲FCoE具有了新一代加強形以太網的衆多優點，因此這項標準的審批須要與管理以太網技術標準的美國電氣與電子工程師協會(Instituteof Electrical and Electronics Engineers，IEEE)保持密切合做

早期業內就在以太網存儲協議的標準化方面作過不少努力，但限於當時百兆或千兆以太網性能而均未能如願。例如在2001年，Nishan Systems公司開發了針對局域網或數據中心的mFCP(metroFibre Channel Protocol)協議以及針對廣域應用的Internet光纖通道協議(iFCP)。mFCP 支持在基於以太網的光纖通道上應用UDP和IP協議，可是mFCP中缺乏TCP中其它的用於數據包恢復的協議。mFCP 協議假設以太網基礎體系自己的設計已經能夠避免網絡阻塞，而且具有基本的流量控制機制將丟幀減到最低。若是確實發生了丟幀，mFCP協議將會藉助上層的光纖通道協議對適當的幀序列作出重傳的迴應。除IP路由層以外，mFCP 協議的實際運做與光纖通道Class-3的未確認服務(Unacknowledged Service)相相似。

　　儘管iFCP 協議被普遍地應用於災難恢復及其它遠程存儲應用，但因爲10G以太網還在建設之中，因此mFCP沒法在1 Gb/s的速率下得很好的效果。但mFCP 的主要優勢在於它能夠整合以太網和光纖通道SAN，提升光纖通道協議棧的效率。

　　此外還有一些其它的小衆協議試圖將存儲協議直接與以太網相結合，如AoE協議和HyperSCSI以太網存儲協議。但這些技術標準僅限定於低性能存儲應用。例如HyperSCSI藉助SCSI協議來驗證和恢復傳輸錯誤，因此在數據中心領域缺少光纖通道協議的優點。

　　基於以太網的蛻變

　　光纖通道和以太網傳輸都是使用的數據鏈路層協議(第二協議層)。在OSI七層模型中，第一協議層是傳輸網絡信號的物理媒介，第二協議層是成幀協議(FramingProtocol )，當上層協議處理網絡路由和會話管理等更高層級服務時，本層協議會當即做用於下層介質。由於每一個附加協議層都會帶來更多的協議處理和開銷，因此第二協議層是從一個網絡節點向另外一個網絡節點快速傳輸數據的最爲快捷的途徑。

　　光纖通道做爲鏈路層傳輸協議，最初是專門被設計用來保證數據中心傳輸通道的高效率。這其中多方面緣由的。首先，在千兆或數千兆的速率下，網絡須要一個流控機制來避免網絡阻塞引發的丟幀問題。光纖通道藉助Buffer-to-bufferCredit解決了流控制問題。一端設備只有當接收方的緩衝區已清空而且發出接收準備信號((R_RDY))後才能發送附加幀。其次，光纖通道結構從本質上來講是一個獨立的子網，專門處理在數據中心內的主機與目標設備之間的數據通信問題。儘管如今光纖通道有SAN到SAN交流的輔助路由能力，但光纖通道路由使用的是網絡地址轉換協議(Network Address Translation，NAT)，而不是上面第三層的路由協議。

　　光纖通道技術在這幾年時間中，發展出了不少更適用於存儲需求的更高層功能。例如，基於每臺光纖通道交換機都配備的簡單域名服務(SimpleName Service，SNS)，就爲發起者尋找目標資源提供了設備發現機制。基於端口或WWN(World Wide Name)的分區實現了不一樣存儲單位間的彼此隔離，防止未受權服務器與特定存儲資產之間通訊。註冊狀態變化通告(Registeredstate change notifications，RSCNs)提供了一種將服務器與存儲網絡中存儲系統相連接的方式。通訊重路由(Fabric Shortest Path First ，FSPF)協議可在多臺交換機架構下創建最佳的路徑。並容許多在多臺交換機之間進行多重鏈接，以提升帶寬。具有故障隔離的光纖路由實現了各個獨立SAN間的資源共享。虛擬光纖網絡技術可使不一樣部門或應用程序之間共享一個公共的SAN，而相互不受影響與限制。

　　爲了保持此前光纖通道所具有的傳輸優點和以存儲爲中心的特徵，FCoE須要對傳統的以太網和相應的控制器進行重大的改進，以提供設備發現、通知(Notification)、安全和其餘高級存儲服務。若是以太網能夠知足數據中心的苛刻要求的話，那麼經過以太網封裝光纖通道幀的FCoE協議就徹底可以成爲終端到終端傳輸(FCoE發起者與FCoE目標直接通訊)或網關應用(FCoE發起者經過網關與光纖通道目標設備通訊)最簡單直接的解決方法。可是爲了使用戶實施成爲可行，那些光纖通道上的高級服務必須獲得保留。

防止丟包

　　FCoE發展過程當中所遇到的第一個挑戰是將經過本地光纖通道的Buffer-to-bufferCredits特性所實現的流控制機制得以延續。雖然以太網交換機沒有相對應的緩衝到緩衝機制，但以太網標準能夠經過支持MAC控制幀來調節流入的信息量。IEEE 802.3x 流量控制標準是基於暫停幀流量控制技術的。這個技術會使得發送者後面的傳輸內容延遲一段特定的時間再發送，若是接收設備在這段時間過去以前清除緩衝，那麼它會從新發送暫停幀，同時將終止時間歸零。這使發送者能夠從新傳送直至接收到另外一個暫停幀。

　　由於FCoE機制必須支持存儲數據的讀寫，因此全部網絡存儲路徑下的終端設備和以太網交換機必須支持雙向IEEE802.3x流控制。儘管這樣的效果可能不如Buffer-to-bufferCredits機制那麼理想，可是IEEE 802.3x暫停幀能夠提供對應的功能性，來調節存儲流量並防止阻塞和緩衝區溢出引發的丟幀。

　　IEEE中的IEEE802.3ar阻塞管理研究小組和IEEE 802.1au阻塞通知研究小組負責以太網阻塞問題的研究工做。特別是對於存儲事務來講，這有助於加強流控機制的服務層級質量，使得最關鍵的任務的數據流在可能發生阻塞的狀況下得到最高優先權。

　　冗餘路徑和故障切換

　　光纖通道高可用性的特色主要是得益於其可提供的主機與目標設備之間冗餘路徑的Flat或CORE/EDGE的拓撲網絡。從主路徑到輔路徑的主機總線適配卡、鏈路、交換機端口、交換機或存儲端口，其中任何一點發生故障就會引起整個網絡的故障。在某些狀況下，這兩條路徑都是動態的而且兼備高性能和可用性。光纖通道架構中的光纖最短路徑優先協議用來決定光纖交換機間傳輸的最佳路徑，其判斷基於交換機的鏈路帶寬與流量負荷。

　　以太網基礎體系必須爲FCoE提供相應的耐障礙性來保證存儲訪問的暢通無阻。當多以太網交換機經過交換機內鏈路(例如以徹底網路拓撲)鏈接時，IEEE802.1D快速生成樹協議在網絡上創建主路徑，避免幀的發送造成無止境的環形迴路。交換機之間的動態橋接端口處於推動狀態，非動態失效切換橋接端口處於阻塞狀態。但因爲阻塞的鏈接不能用於數據的傳輸，因此網路中的阻塞鏈接都表示未利用和閒置的資源。快速生成樹經過網橋協議數據單元來監控全部橋接端口的狀況，若是鏈接、橋接端口或交換失效的話，快速生成樹協議啓動必要的失效切換橋接端口，在網絡上創建選擇路徑。

　　此外，IEEE 802.1s 多生成樹協議(MultipleSpanning Tree Protocol，MSTP)和IEEE 802.1Q-2003虛擬LAN(VLAN)技術定義了另外的加強以太網路徑切換的機制。與光纖通道的硬分區技術相相似，VLAN 標記可實現多達4096個羣集節點組共存於一個公共的以太網基礎體系內。在多業務傳輸平臺上對生成樹的加強可使每一個VLAN組中有一個單獨的生成樹。所以，一個虛擬局域網阻塞模式下的橋接端口能夠調節成另外一個虛擬局域網的轉發模式，而且實現對全部網絡互連性更充分的利用。

　　即便有多業務傳輸設備的加強，已使用的網絡鏈接仍不可避免地致使了快速生成樹協議對轉發和阻塞狀態的依賴。愈來愈多複雜的第三層路由協議，例如開放最短路徑優先協議(OpenShortest Path First，OSPF)，在跳躍計數、帶寬、延遲時間和其餘測量標準的基礎上選擇末端節點之間的最佳路徑，而且實現多路徑上的負載均衡。即時串流傳輸協議(RSTP)做爲第二層協議沒法支持這樣的附加功能性而保持向後兼容。須要設法找到將負載均衡、多點接入(例如一個節點有接入同一以太網網段的兩條動態鏈路)、多播技術和廣播技術引入第二層以太網的方法。

從光纖通道到以太網的映射

　　FCoE也必須解決以太網和光纖通道各自所傳輸的幀之間的差別。一般一個以太網的幀最大爲1518字節。而一個典型的光纖通道幀最大爲大約2112字節。所以在以太網上打包光纖幀時須要進行分段發送，而後在接收方進行重組。這會致使更多的處理開銷，阻礙FCoE端到端傳輸的流暢性。

　　所以須要一個更大的以太網幀來平衡光纖通道和以太網幀大小上的差別。有一個稱爲"巨型幀"的實質標準，儘管不是正式的IEEE標準，但它容許以太網幀在長度上達到9k字節。在使用"巨型幀"時須要注意，全部以太網交換機和終端設備必須支持一個公共的"巨型幀"格式。

　　最大的巨型幀(9K字節)能夠實如今一個以太網幀下封裝四個光纖通道幀。可是這會使光纖通道鏈接層恢復以及應用802.3x暫停指令的緩衝流量控制變得更加複雜。如圖2所示，FCoE向一個巨型以太網幀內封裝一個完整的光纖幀(不使用循環冗餘校驗)。由於以太網已經提供了幀檢驗序列(FCS)來檢驗傳輸數據的完整性，因此不須要光纖幀的循環冗餘校驗(CRC)。這進一步下降了傳輸層所需的處理開銷，同時提升通道的性能。因爲光纖幀可能包括拓展的、可選擇的信頭或虛擬光纖標記信息，因此以太網"巨型幀"的大小就不合適，而且會隨着封裝光纖幀的須要而發生變化。

　　

　　圖2 在以太網封裝一個光纖幀

　　FCoE幀是使用六字節MAC硬件目的地址和源地址的本地第二層以太網幀。但MAC地址是存儲透明的，而且只能用於從源到目的地幀的交換。以FCoE幀中保留了存儲事務中須要的光纖通道尋址，因此須要從FCID(Fibre Channel ID)到以太網MAC地址映射的方法。能夠選擇一個與地址解析協議(ARP)相相似的協議來實現FCID到MAC的地址映射。例如，在第三層IP環境下，地址解析協議用於從上層IP網絡地址到第二層硬件MAC地址映射。此外，光纖通道使用一些較爲熟知的地址來得到存儲服務(例如經過SNS發現設備機制)。FCoE要求有相應的功能性來完成從熟知的地址到對應MAC地址的映射。

　　在傳統光纖通道中，HBA或存儲端口在鏈接到以太網交換機時會接收FCID。FCoE設備沒法確保通用以太網交換機提供專門的存儲服務，因此必須依靠可用於FCoE交換機內部的域控制器和存儲服務引擎來提供光纖通道登錄、尋址和其它高級服務。將來的數據中心導向器將會在一個高可靠性、多協議平臺上將以太網、光纖通道和FCoE存儲服務融合爲一體。

FCoE、iSCSI和FCIP

　　FCoE、iSCSI和FCIP都是能夠在以太網上進行塊數據傳輸的存儲協議。然而每個當初都是以不一樣的目標和設計標準發展起來。因爲FCoE是由專門的數據中心存儲協議發展而來，其中包含有FC和數據中心以太網協議。iSCSI是設計用來在包括局域網和廣域網在內的任何基於IP的系統上可靠地傳輸存儲數據。如圖3所示，iSCSI藉助位於第三層的整個TCP/IP協議棧來實現路由和數據包恢復，因此iSCSI能夠用於可能存在潛在的網絡帶寬損耗。相比之下，FCIP被設計爲用於遠程鏈接FC SAN的隧道協議。象iSCSI同樣，FCIP亦承擔TCP/IP的處理開銷，所以它的設計不適合本地高性能數據中心應用。

　　

　　圖3 以太網、光纖通道和iSCSI協議棧

　　iSCSI主要做用在於其經濟性，發揮空閒的驅動器、以太網卡、以太網交換機和IP路由器，在服務器和存儲之間傳輸SCSI數據塊。儘管服務器接入和網絡基礎系統成本較低，可是iSCSI存儲目標成本會隨着是否使用廉價磁盤驅動和是否配置基於硬盤或基於軟盤的控制器而改變。由於沒有專門的本地iSCSI磁盤驅動，iSCSI目標必須依靠某種形式的協議橋接(從iSCSI 到SAS/SATA或從iSCSI到FC)控制器來存儲和檢索數據塊。因此iSCSI並不等同於那些有時用於部門級FC SAN中的JBOD。

　　在1Gb以太網中，iSCSI不需花費不少就可實現經過網關將低性能的二級服務器整合到現有的數據中心的FC SAN中，或爲部門使用提供共享存儲。可是在10G以太網中，iSCSI就漸漸失去了普遍宣揚的成本優點。在服務器上使用10G以太網意味着主程序要求高性能和可靠性。儘管標準NIC卡可在10G下使用，但10G的iSCSI服務器經過例如TCP可卸載適配器等輔助設備來加強性能，並經過iSER logic來避免從接口到應用存儲器的SCSI數據的多存儲副本。設計精密的10GBiSCSI適配器增長了成本，但使iSCSI 能夠在主機上將CPU開支減到最低，來更充分地利用更大的帶寬。

總結

　　介於龐大的安裝基礎，早已成熟的光纖通道技術已經具有了衆多的存儲特性和管理工具，這大大利於對數據中心內的共享存儲系統進行各類配置。聚合加強以太網(CEE)技術使用戶能夠在公共以太網基礎體系數據中心將存儲、信息傳送、網絡電話、視頻和其它數據結合在一塊兒。FCoE是實現以太網高效率塊存儲的組件技術。FCoE不是光纖通道的替代物而是光纖通道的拓展，而且將與光纖通道SAN共存。

　　由於FCoE是對以太網的進一步加強，因此它的發展須要光纖通道和以太網的技術專家和標準組織之間的相互協調。儘管流控制和以太網生成樹協議等鏈接層問題是一個重大的挑戰，可是還須要提出更多的解決方案來繼續保留用戶正有效配置的光纖通道高級服務。即便是在10G網絡傳輸速率下，仍須要對今天的以太網技術進行深刻研究以適合數據中心存儲的應用。做爲光纖通道架構技術的先驅，博科公司在保留數據中心性能、可靠性和高級存儲服務所提供的優點的同時，也向FCoE引入了專業技術以下降其餘解決方案的複雜性。

　　關於做者

　　Tom Clark是博科公司技術市場部的首席工程師。做爲市場、研發和用戶之間溝通的重要橋樑，Tom 專一於確保存儲網絡技術有效配置的特性。他是全球網絡存儲工業協會成員、SNIA 互操做委員會前任聯合主席。他發表了許多有關存儲網絡的文章和白皮書，其中有DesigningStorage Area Networks Second Edition (Addison-Wesley， 2003)，IPSANs： A Guide to iSCSI， iFCP and FCIP Protocols for Storage Area Networks(Addison-Wesley， 2001)，以及Storage Virtualization: Technologies for SimplifyingData Storage and Management (Addison-Wesley 2005)。