雙十一背後數據中心運維保障那些事兒

「雙十一」即指每一年的11月11日，因爲日期特殊，所以又被稱爲光棍節。而大型的電子網站通常會利用這一天來進行一些大規模的打折促銷活動，以提升銷售額度。它們選擇「雙十一」促銷也是爲了錯開線下促銷的週期。國慶、聖誕、元旦都是實體店促銷的時間節點，因而從國慶假期後至聖誕節前實體店會造成促銷的真空期，可是爲了完成銷售任務，商家必須提早在11月發力。從2009年11月11日，淘寶商城舉辦了第一屆雙十一促銷到如今，已經舉辦了三屆，在2012年的「雙十一」購物狂歡節總銷售額191億，今年的 「雙十一」購物狂歡節預計銷售額會超過200億。

一個購物網站要在一天處理完成超過1億筆的交易，淘寶是如何作到的呢？其實，在網站簡單的買賣交易背後，凝結了數千人默默無聞的運維保障工做。除了要完成交易，還有更多的時間用戶是在瀏覽網站的商品，若是一個網頁點擊超過5秒纔打開連接，這也將嚴重影響用戶的體驗，所以在確保買賣交易能夠完成的同時，還要在如此大的訪問量的狀況下，保證用戶的購物體驗，這不得不說是一項艱鉅的任務。早在2012年，淘寶「雙十一」購物狂歡節的一分鐘內千萬級別訪問量涌入，致使購物車和支付寶沒法訪問。你們知道這時千萬級別的ID不只僅是每一個用戶的數據，同時包括所購買產品的數據、包括銀行系統的高併發訪問。瞬間海量數據的I/O，如此高的併發用戶訪問、檢索以及支付致使硬件工做負荷加大，天然就會造成自我保護性關閉或崩潰，從而使網站癱瘓。

「雙十一」期間淘寶網站的訪問量是平時的幾倍、甚至幾十倍，原有的數據中心性能是沒法知足的，而這種促銷就只有一天，淘寶又不可能大肆的擴大數據中心規模而去保障這一天，這樣會形成大部分時間數據中心處於資源浪費狀態，所以只能從別的方面考慮優化。從訪問量上來說，也就是在「雙十一」剛開始的幾分鐘流量最大，流量瞬間變大，後續的一天的時間流量基本都比較穩定，一天事後流量大大降低。面對瞬間巨量的訪問，數據中心會進行分流，淘寶的數據中心遍及全國各地，大量的數據訪問分屢次、多地點進行，能夠實現多站點並行做業，保證高併發的數據訪問。通過3年的「雙十一」活動，淘寶已經對突發的訪問量可以作好預估，根據現有的數據中心處理性能，適當地增長一些臨時設備，啓用備用系統，從而確保淘寶順利平穩過渡「雙十一」。

在淘寶有一個應用運維團隊，即PE團隊。PE團隊負責淘寶網在線交易、廣告系統、數據平臺等應用運維繫統技術部門，是爲淘寶帶來高速增加核心運維團隊。「雙十一」購物節也給PE團隊帶來了巨大壓力。基本上爲了應對「雙十一」購物節，PE團隊提前就作足了準備工做。好比包括：檢查全國各地數據中心運行負荷狀況，以便在高峯流量到來時靈活分散訪問流量；增長備件，作好配置，大量的設備硬件出現故障不可避免，在關鍵業務設備作好備件，一旦出現故障及時更換，將故障時間控制在幾分鐘內；協調好各類設備的供應商廠家工程師駐場待命，以便出現故障時，和PE團隊共同處理，減小中間的溝通環節，縮短故障處理時間；啓動這種應急預案，對可能發生的突發狀況進行預判，制定響應的方案；在「雙十一」以前進行故障模擬演練，驗證解決方案是否可行。在作好的充分準備後迎接「雙十一」的到來。

在11·11購物節的24小時裏，PE團隊的人員會時刻關注着淘寶網站的運行狀況。主要監控三個方面的情況：

1、是監控業務層面。好比說原本每秒建立是2000筆的，如今忽然一降低成500筆了，這就可能有問題了，再有可能訂單生成，有丟單等等，這些業務層面的問題會大大影響銷售額，這樣PE團隊就會當即召集業務部門和軟件開發系統的人員公共分析問題緣由。

2、是應用系統監控。檢查JVM跑的是否正常，是否是有頻繁的垃圾回收，反饋時間是否在200MS之內，一旦反饋時間超過200MS，則訪問網站的速度就會降低，若是超過500MS，則訪問網站的體驗就會不好了。這時PE團隊要系統軟件開發人員共同分析問題，找過故障點。

3、是基礎設施保障。這種基礎的包括網絡、服務器、存儲設備等。好比說咱們的路由器是否是通的，咱們的交換是否是有問題啊，DNS服務是否是有問題啊，等等。

「雙十一」購物節事後，PE團隊要對數據中心出現的問題進行總結，杜絕相似問題再次發生，這個節日是對淘寶數據中心的一次巨大考驗，不少問題都會在這樣的突發流量下暴漏出來，因此對於PE團隊也是可貴的一次學習機會。淘寶的數據中心出口帶寬已經超過兩個T，就是在峯值的時候，每秒出去兩個T的數據。因而可知，淘寶數據中心的處理能力是超強的，但簡單的提高網絡訪問帶寬還遠遠不夠，須要的是淘寶數據中心總體的處理性能的提高。通過「雙十一」購物節的洗禮，PE團隊會找到目前數據中心薄弱的地方，而後再不斷改進。

在淘寶，要求數據中心整年斷網時間不能超過2小時，故障等級分爲四級：P1~P4。P1是最嚴重的故障，P4最輕微。若是頻繁出現P1故障，那麼PE團隊人員的收入都會受到損失。所以，PE團隊時刻都保持瞭如履薄冰的心態，應對每一次突發問題。其實在任何一個數據中心都同樣，咱們在享受數據中心帶來的生活、工做便利的同時，在其背後是有無數的技術工做者提供運維保障，正是這些默默無聞的運維人員辛苦的工做才構築了咱們今天美好的生活。