IBM GPFS並行文件系統

原文地址：http://www.hqschina.com/Show.aspx?info_lb=283&info_id=751&flag=103

        IBM GPFS文件系統是一種專門爲羣集環境設計的高性能、可擴展的並行文件系統。GPFS能夠在羣集中的多個節點間實現對共享文件系統中文件的快速存取操做，並提供穩定的故障恢復和容錯機制。

被業界超大規模高性能計算機系統所普遍使用

       GPFS文件系統被普遍應用於世界上超大規模的高性能計算機系統中，包括運行速度最快的IBM Blue Gene系統。在當前TOP500計算機排名中的232套IBM計算機系統幾乎都採用了GPFS並行文件系統方案。在中國規模最大的5個高性能計算機系統中也無一例外地使用GPFS做爲並行文件系統，這其中包括運行關鍵業務的生物信息和超級計算中心。這些項目成功實施和順利運行充分證實了GPFS徹底能夠勝任用來構建超大規模的計算機系統。

高可擴展性

GPFS具備無可比擬的擴展性，以下表所示：

項目	最大限制	Linux集羣中通過驗證的值
單個文件系統容量	299Byte	2PB
集羣中並行文件系統個數	256	32
單個文件系統中文件個數	2,147,483,648	N/A
單個文件系統能用到的邏輯卷個數（LUN數）	268 million	N/A
I/O帶寬	取決於系統硬件配置	134GB/s

 

高性能

       IBM GPFS並行文件系統軟件在設計上不存在任何性能瓶頸，所以GPFS並行文件系統能夠充分發揮硬件系統的性能。換句話說，GPFS並行文件系統的性能徹底取決於硬件配置的好壞，而文件系統軟件自己對性能的影響微乎其微。

       IBM GPFS並行文件系統與其它並行文件系統之間最大的區別在於GPFS不須要專用的元數據（Meta Data）管理服務器，全部元數據分散在磁盤陣列中，並能夠由任何I/O節點管理。這樣的設計避免了並行文件系統中最可能產生性能瓶頸的因素——Meta Data Server。

       大規模高性能計算機系統的設計都會採用專用的I/O節點。I/O節點配置光纖通道卡鏈接外部磁盤陣列，而計算節點及登陸節點對磁盤陣列的訪問則是利用網絡與I/O節點進行數據通信。在系統規模很是大的時候，用來交換數據的網絡一般會成爲性能的瓶頸。IBM GPFS文件系統能夠充分利用高速網絡的特性，提高計算節點與I/O節點間的數據通信性能，同時最大程度地下降因I/O處理帶來的對CPU資源的消耗。

       在Linux集羣系統中，當使用了InfiniBand做爲高速網絡時，GPFS並行文件系統能夠充分利用InfinBand網絡的RDMA（Remote Direct Memory Access）特性進行數據通信。與TCP socket協議不一樣，RDMA能夠實現計算節點與I/O節點間內存的直接通信，而最小化CPU的參與。這樣在提高I/O帶寬性能的同時，下降計算節點CPU資源的消耗，從而保證計算節點內的資源能夠更專一於數據計算。

       IBM GPFS的先進設計保證了GPFS是目前性能最高的並行文件系統，保持着在實際測試中獲得的帶寬134GB/s世界紀錄。

高可用性

       IBM GPFS文件系統自己提供了豐富的高可用性功能，全部的GPFS相關的管理服務器都能作到冗餘配置，並能夠由I/O節點中的任意節點擔任。具體從GPFS集羣（節點）、邏輯卷（磁盤）及文件系統的管理與維護三個層面得以體現。

       能夠將全部服務器劃到一個GPFS集羣（GPFS集羣是並行文件系統的專用概念，是全部要訪問並行文件系統的服務器的集合）中，或分紅多個GPFS集羣。每一個GPFS集羣設置主、備2個管理服務器，能夠選擇I/O節點中的任何服務器承擔。GPFS集羣管理服務器負責管理和維護集羣配置信息，如增長或減小節點、改變集羣中服務器的屬性等。同時，在一個GPFS集羣中還能夠指定若干個服務器做爲「仲裁委員會」的成員（quorum node），只要該仲裁委員會中一半以上的成員正常運行，就能夠保證GPFS正常使用。

       在磁盤陣列劃分好邏輯卷（LUN）並映射到相應服務器後，GPFS將每一個LUN轉換成網絡共享磁盤（NSD），同時爲每一個NSD指定多個（最多8個）管理服務器，能夠由任何I/O節點承擔。這樣能夠充分保證任何I/O節點宕機都不會致使邏輯卷的不可用。

       在文件系統層面，每一個GPFS集羣中能夠建立最多256個文件系統，每一個文件系統都對應多個管理服務器（能夠由任何I/O節點承擔）。當任何一個文件系統管理服務器宕機時，都會有另一個服務器自動接替其工做，保證並行文件系統的高可用性。

       另外，GPFS支持分佈式的元數據服務器，支持元數據自動日誌功能，實現用戶數據和元數據的備份和自動恢復，當一臺服務器宕機時，其管理功能能夠有另外的服務器接管，不存在單點故障。GPFS支持多路徑磁盤訪問，一條路徑訪問失敗，GPFS能夠自動嘗試其它路徑，並同時支持節點和磁盤兩級故障切換，對上層應用透明，確保應用的繼續執行。GPFS支持分佈式的塊級鎖管理，經過令牌機制來避免併發讀寫衝突。GPFS還支持rolling update功能，能夠在線升級文件系統。

豐富的功能

       GPFS還具備其它豐富的功能，如信息生命週期管理（ILM）、多集羣間交叉mount、集羣化NFS（CNFS）、磁盤限額管理、NFS和SAMBA客戶端支持等。這些功能保證了GPFS配置和使用的靈活性，能夠針對用戶業務特色對GPFS進行設計與配置，知足用戶業務對並行文件系統的複雜需求。