雲計算之路-阿里雲上-寒流來襲：2014年12月23日21:45-23:15網站故障

1個多小時間的網站故障給你們帶來很大的麻煩，在這裏咱們表示深深的歉意！但願你們可以諒解！

這兩天上海的氣溫在回升，而杭州的雲上卻忽然襲來一股寒流。

12月23日晚上，阿里雲進行了一次RDS的功能發佈，在發佈中悄無聲息地修改了咱們的RDS數據庫鏈接數限制，誰也不知道，而後。。。

21:45:52左右開始，日誌中出現大量執行時間超過5秒的請求。

而後出現超過10秒、20秒。。。甚至超過100秒的請求。

21:46:50左右，開始出現數據庫鏈接錯誤：

System.Data.SqlClient.SqlException (0x80131904): Timeout 時間已到。
在操做完成以前超時時間已過或服務器未響應。
嘗試鏈接到 Principle 服務器時發生了此故障。 
---> System.ComponentModel.Win32Exception (0x80004005): 等待的操做過期。

並繼續出現大量執行時間超過5秒的請求。

接着出現下面的錯誤：

System.InvalidOperationException: 超時時間已到。
超時時間已到，可是還沒有從池中獲取鏈接。
出現這種狀況多是由於全部池鏈接均在使用，而且達到了最大池大小。

再接着就是下面的錯誤：

System.Web.HttpUnhandledException (0x80004005): 引起類型爲「System.Web.HttpUnhandledException」的異常。 
---> System.Data.SqlClient.SqlException (0x80131904): 已成功與服務器創建鏈接，可是在登陸前的握手期間發生錯誤。 
(provider: SSL Provider, error: 0 - 等待的操做過期。)

而後網站就沒法正常訪問。

（上圖中紫色的線條表示的是請求執行時間）

當咱們發現問題後，當即向阿里雲反饋，而後與阿里雲工做人員一塊兒排查問題。可是咱們不知道此次RDS發佈，阿里雲參加排查問題的人也不知道。因而，緊張地作了1小時左右的無用功，直到知道了故障的真相——RDS功能發佈時修改了咱們的RDS最大鏈接數限制，並且此次發佈事先沒有任何通知。

咱們不要這樣的「被故障」，咱們要的是無端障，但願2015年整年無端障！