Cassandra架構、設計（集羣&表）和性能報告

系統架構：

Ｃａｓｓａｎｄｒａ 是 一 套 開 源 分 布 式 Ｎｏ －ＳＱＬ 數據庫系統， 基於一致性哈希算法的 Ｐ２Ｐ 環形結構。 這種結構 各節點功能徹底相 同， 可靈活添加節點來完成系 統的擴充或刪除節點， 且無需大規模轉移數據， 同 時完全避免系 統因 單點故障

致使的不穩定性； 每一個節點經過 Ｇｏｓｓｉｐ 機制進行消息同步； 每 個 數據 項 都 會 被 復 制 到 Ｎ 個節 點（ Ｎ 是經過參數配置的副本因 子）， 系 統利 用 數據

的複製機將存儲在各節點上的數據複製到其餘節點上， 實現了數據的高度可得到性與安全性。

 

 

數據模型：

Ｃａｓｓａｎｄｒａ 使用 寬 列 存 儲 模 型， 每 行 數 據 記錄是以 Ｋｅｙ － Ｖａｌｕｅ 形式進行存儲， 其中 Ｋｅｙ爲 惟一標識。 每 個Ｋｅｙ－ Ｖａｌｕｅ 其 中 的 Ｖａｌｕｅ 也 稱 爲Ｃｏｌｕｍｎ， 做 爲 一 個 三 元 組， 包 含 有

Ｃｏｌｕｍｎ Ｎａｍｅ 、 Ｃｏｌｕｍｎ　Ｖａｌｕｅ 與 ｔｉｍｅｓｔａｍｐ ； 每 個 ＣＦ 由一個 Ｋｅｙ及其對應的若干個 Ｃｏｌｕｍｎ 標識組成。一個

ｋｅｙｓｐａｃｅ 包含若干 個 ＣＦ ， 相似關係 型數據庫中一個

ｄａｔａｂａｓｅ 可有 多 個ｔａｂｌｅ 。

 

下 圖 爲 一 個Ｃｏｌｕｍｎ 型數據模型。

 

 

 

 

CPA理論：

ＮｏＳＱＬ 典 型 遵 循 由 Ｅｒｉｃ　Ｂｒｅｗｅｒ 提 出 的ＣＡＰ 理論  ， 依據此理論， 在一個大規模的分佈式數據系統中， 有三個需求是彼此循環依賴的， 一致性（ ｃｏｎｓｉｓｔｅｎｃｙ ） 、 可 用 性 （ ａｖａｉｌａｂｉｌｉｔｙ ） 、 分 區 耐受性（ ｐａｒｔｉｔｉｏｎ　ｔｏｌｅｒａｎｃｅ ） 。

一致性： 對全部數據庫客戶 端 使 用 同 樣 查 詢 都 可 得 到 相 同 的 數 據；

可用性： 所 有 數 據 庫 客 戶 端 都 可 讀 寫 數 據；

分區耐受性： 數 據 庫 分 散 到 多 個 服 務 器 上， 即便發生 網 絡 故 障， 仍 可 提 供 服 務。

 

ＣＡＰ 理 論 可簡單描述 爲 ：

 一 個 分 布 式 系 統 不 能 同 時 滿 足 以上三個 特 性， 最 多 只 能 同 時 滿 足 兩 個。

Ｃａｓｓａｎｄｒａ 主要支持 可 用 性 和 分 區 耐 受 性。 

在 Ｃａｓｓａｎｄｒａ 中 ， 數據 具 備 最 終 一 致 性， 集 羣 整 體 的 完 全

可用 性。

 

 

存儲機制

Ｃａｓｓａｎｄｒａ 依賴本地的文件系統經過內存與磁盤的雙重存儲機制來保證數 據的持久性 。

Ｃａｓｓａｎｄｒａ 有三 個重 要 的 數 據 結 構， 記錄 於 內 存

的 Ｍｅｍｔａｂｌｅ ， 保 存 在 磁 盤 中 的 Ｃｏｍｍｉｔ　Ｌｏｇ和

ＳＳＴａｂｌｅ 。

Ｍｅｍｔａｂｌｅ 記 錄 最 近 的 修 改， 而ＳＳＴａｂｌｅ 記錄着數據庫 所承載的 絕大部分數據。一般 情 況 下， 一 個 Ｃａｓｓａｎｄｒａ 表 會 對 應 着 一 個

Ｍｅｍｔａｂｌｅ 和多 個ＳＳＴａｂｌｅ 。

Ｃａｓｓａｎｄｒａ 接收到 客戶端發送來的數據， 首先將寫操做記錄到 位於磁

盤的 ＣｏｍｍｉｔＬｏｇ 中； 上述操做成功 後， 更新位於內存中 的 Ｍｅｍｔａｂｌｅ 數 據 結 構。 持 續 的 寫 入 數據， 使得 Ｍｅｍｔａｂｌｅ 逐漸增加， 當 其數據量到 達某個閾 值時， Ｃａｓｓａｎｄｒａ 的數據遷移被觸發， 一 方面將

Ｍｅｍｔａｂｌｅ 刷 寫 到 本 地 磁 盤 上 成 爲 永 久 的ＳＳＴａｂｌｅ ， 另外一方面將 ＣｏｍｍｉｔＬｏｇ 中 的 寫 入記錄移除。 對於讀操做， 客 戶 端 先 查 詢

Ｍｅｍｔａｂｌｅ 中的數據， 若沒法獲取所需信息， 則 檢索本地磁盤。

Ｃａｓｓａｎｄｒａ 會按期執行壓緊ｃｏｍｐａｃｔ 操做， 將同一條數據不一樣的版本進行合併， 過期數據也會在此過程當中被刪除； 分層數據壓縮， 有效減小數據體積

及磁盤 Ｉ ／ Ｏ 。

 

系統設置（集羣）

針對實時氣象數據存儲系統， 用戶對該系統讀取的性能需求遠遠高於寫入數據。 經過對副本數進行合理設置， 可分散讀取壓力 。 對於５ 節點集羣， 將副本數設置爲 ３ ；

Ｒｏｗ 分區 模式：

採用自動分區方式， 使不一樣的 Ｒｏｗ　Ｋｅｙ 均勻分佈在各節點上， 有利於數據讀取壓力的分散。

 

 

Ｃａｓｓａｎｄｒａ 表設計

做爲典型的非結構化數據，氣象數據能夠由多維索引 來肯定一個惟一的數據。

業務用戶常見的操做包括「最新數據」「左右翻頁」「上下翻頁」等。

 

數據表

根據不一樣數據類型創建相應數據表， 用於存儲數據內容， 包括：

ＥＣＭＷＦＨＲ（高分辨率數值預報產品 ）、

ＳＡＴＥＬＬＩＴＥ （ 衛 星 資料）、

ＵＰＰＥＲＡＩＲ （高空站點資料）、

ＳＩＮＧＬＥＲＡＤＡＲ （雷達資料） 等。

以「 Ｔ６３９ 」爲 例 說明 數據表結構（表 １ ）。

建表 語 句： ＣＲＥＡＴＥ　ＴＡＢＬＥ "Ｔ６３９ "

（ "ｄａｔａＰａｔｈ " ｔｅｘｔ ， ｃｏｌｕｍｎ１  ｔｅｘｔ ，

ｖａｌｕｅ　ｂｌｏｂ ， ＰＲＩＭＡＲＹ　ＫＥＹ （" ｄａｔａＰａｔｈ " ，

ｃｏｌｕｍｎ１ ） ） ；

 

層次表

用於存儲全部模式或實況的層次信息， 表名爲ｌｅｖｅｌ ； 用 戶 在 客戶 端進行上下翻頁操做， 從ｌｅｖｅｌ 表中獲取當前層次的上一層或下一層信息； 利用層次表與數據表， 可檢索到不一樣層次的數據（表２ ）。

建表語 句： ＣＲＥＡＴＥ　ＴＡＢＬＥ　ｌｅｖｅｌ （

"ｄａｔａＰａｔｈ " ｔｅｘｔ ， ｃｏｌｕｍｎ１ ｉｎｔ ， ｖａｌｕｅ　ｉｎｔ ， ＰＲＩＭＡＲＹ ＫＥＹ （" ｄａｔａＰａｔｈ " ， ｃｏｌｕｍｎ１ ）） ；

 

最新時刻表

用於存儲各種數據的最新時刻信息， 表名 爲ｌａｔｅｓｔｄａｔａｔｉｍｅ 。 利 用 最新時刻表， 用戶能經過客戶端快速查找到最新數據文件名。 用戶根據完整索引 （文件路徑與最新數據文件名）， 例： Ｔ６３９ ／ ＷＩＮＤ ／ ５００ ／ １７０３０１０８． ０００ ， 便可在「數據表」中獲取到對應數據（表 ３ ）。

建表語句： ＣＲＥＡＴＥ　ＴＡＢＬＥ　ｌａｔｅｓｔｄａｔａｔｉｍｅ

（ " ｄａｔａＰａｔｈ " ｔｅｘｔ ， ｃｏｌｕｍｎ１  ｔｅｘｔ ， ｖａｌｕｅ　ｔｅｘｔ ，ＰＲＩＭＡＲＹ　ＫＥＹ （" ｄａｔａＰａｔｈ " ， ｃｏｌｕｍｎ１ ）） ；

 

 

 

 

存儲系統性能測試

測試環境

選用５臺相同配置的服務器用來搭建分佈式存儲系統。 服 務 器 操做 系 統 爲 Ｒｅｄ　Ｈａｔ　Ｅｎｔｅｒ －ｐｒｉｓｅ　Ｌｉｎｕｘ　Ｓｅｒｖｅｒ　ｒｅｌｅａｓｅ　７． １ ， 處理器參數爲Ｉｎｔｅｌ （ Ｒ ） Ｘｅｏｎ （ Ｒ ） ＣＰＵ　Ｅ５ － ２６２０ ｖ２ ＠ ２． １０ＧＨｚ ， 主頻爲２． １ ＧＨｚ ； 內 存大小爲 ２５６ ＧＢ ；６ 塊４ＴＢ　ＳＡＴＡ 硬盤； 服務器間經過萬兆光纖鏈接。Ｃａｓｓａｎｄｒａ 數據庫版本爲２． ２． ５ 。

 

高可用性測試

由 ５ 個節點所組成分佈式存儲系統， 其結構上具備以下特色。

（ １ ）服務器雙網卡綁定， 即將兩個物理網卡虛擬成一個邏輯網卡； 提高服務器之間的傳輸帶寬，實現網卡冗餘。

（ ２ ）用於集羣內部數據交換的兩臺萬兆光纖交換機， 採起級聯方式， 可互爲備份。

（ ３ ） ６ 塊ＳＡＴＡ 硬盤， 其中 ２ 塊作 ＲＡＩＤ１， 安裝操做 系 統 及 軟 件； 另 外 ４ 塊 ４ＴＢ 用 做 兩 個ＲＡＩＤ０ ， 用於存儲數據。

（ ４ ）服務器集羣爲環形結構， 沒有 ｍａｓｔｅｒ 節點， 各節點功能徹底同樣。

 

按照表４中內容， 對系統的基礎設施層（包括網絡設備、存儲設備等）、 軟件層（數據庫） 進行測試， 來驗證系統的高可用 性； 從表中結論可知， 系統中用於內部數據交換的光纖或網卡、交換機及任一 Ｃａｓｓａｎｄｒａ 服務器故障， 均不影響 ＭＩＣＡＰＳ４客戶端調取數據。

 

 

 

讀取性能測試

經過讀取數據的腳本文件（可獲取數據字節數信息， 表５中 ＥＣＭＷＦ ＿ ＨＲ ／ ＴＭＰ ／ １００ 目 錄下數 據 字 節 數 爲 １３２６４２ 字 節， ＳＡＴＥＬＬＩＴＥ ／

ＦＹ２Ｅ ／ Ｌ１ ／ ＩＲ３ ／ ＥＱＵＡＬ 下數據字節數爲５５４９４４字節，

Ｔ６３９ ／ ＷＩＮＤ ／ １００ 下數據字節數爲１４４９０５２字節）， 模擬單用戶及５０ 用 戶 、 １００ 用 戶 客戶 端對同一類型數據進行讀取， 共分 ３ 組， 即對三種不一樣類型的數據進行測試， 測試性能見表５ ， 注意測試結果包含網絡傳輸時間。

 

 

 

從數據讀取的測試結果能夠看出 ：

（ １ ）５０ 用戶併發和１００ 用 戶 併發 客戶 端 同 時 對 同 一 類 型數據進行 讀 取 的 時 間 與 單 用 戶 讀 取 時 間 相 當 。以 Ｔ６３９ ／ ＷＩＮＤ／１００ 爲 例， ５０ 用 戶 並 發 和 １００用 戶 併發與單用 戶 讀取相 關數據 所 花 費 的 平 均時間 均在２０ ｍｓ 左右。

（ ２ ） 在１００ 用 戶 併發狀況下， 從數據庫 中 調 取數據 所消 耗 的 時 間 均 以 ｍｓ量級爲 單 位 （ 包 含 網 絡 傳 輸 時 間 ） ， 時 間 遠 遠 小於在ｓａｍｂａ 服 務 器 上 讀 取 數 據 的 時 間 。

（ ３） 數據讀取時 間 和 單 個 數 據 的 字 節 數 近 似 成 正 比，即單個數 據 文 件 字 節 數 越 大， 讀 取 數 據 所 花 費的時間 則 越長。

 

結語

利用 Ｃａｓｓａｎｄｒａ 分佈式數據庫搭建的存儲環境， 提升了實時氣象數據存儲效率與檢索速度， 經過統一的數據平臺， 實現了運維人員對該系統「零」維護。 經過在實際業務環境中進行測試， 驗證了該分佈式數據環境的高可用性； 以毫秒級爲單位的數據讀取時間， 能很好地知足業務對數據時效性的需求。