日誌服務支持Shard自動分裂

摘要： 日誌服務提供Shard自動分裂功能，實時監控Shard流量，自動進行shard分裂以應對流量上漲，解決流量估算不許、隨時可能上漲又難以及時處理的問題，保障數據完整。

日誌服務的數據模型中，使用Shard來控制Logstore的寫入、讀取吞吐能力，每一個Shard提供5MB/sec寫入、10MB/sec讀取，一般狀況下，shard越多，Logstore的吞吐越大。

在建立Logstore時，能夠根據實際數據量來進行預先設置shard的個數，同時，日誌服務提供shard的split和merge功能，在日誌量超過現有shard處理能力的狀況，用戶可分裂shard提高Logstore的處理能力。

可是，你有沒有爲這樣狀況而煩惱 :

• 事先沒法準確預估數據量，預設多少個shard才合適呢
• 數據量隨時會突增，人不必定可以及時處理，長時間超quota沒法寫入而致使丟失的風險

針對以上狀況，日誌服務提供了Shard自動分裂功能，後臺實時監控每一個shard的流量，若是發現一個shard的寫入在一段時間內，有連續出現超過shard處理能力的狀況，會觸發shard的自動分裂。觸發條件：

• 數據量超出Shard的服務能力，且持續5分鐘。
• Logstore中readwrite狀態的Shard數目未超過設定的最大shard總數。

開啓Logstore的自動分裂功能也很是簡單，只要修改一下Logstore屬性：

配置項	說明
自動分裂shard	Shard自動分裂功能開關。開啓該功能後，知足條件的Shard會在數據量超出Shard服務能力時自動分裂。
最大分裂數	Shard自動分裂後的最大數目。開啓自動分裂Shard功能後，最大可支持自動分裂至64個分區。

開啓Shard自動分裂後， 你的Logstore將直接擁有自動彈性擴容的能力，解決流量估算不許、隨時可能上漲又難以及時處理的問題，保障數據完整。

原文連接