秒殺搶購思路以及高併發下數據安全

  咱們一般衡量一個Web系統的吞吐率的指標是QPS（Query Per Second，每秒處理請求數），解決每秒數萬次的高併發場景，這個指標很是關鍵。舉個例子，咱們假設處理一個業務請求平均響應時間爲100ms，同時，系統內有20臺Web服務器，配置MaxClients爲500個（表示服務器的最大鏈接數目）。

那麼，咱們的Web系統的理論峯值QPS爲（理想化的計算方式）：

20*500/0.1 = 100000 （10萬QPS）

在高併發的實際場景下，機器都處於高負載的狀態，在這個時候平均響應時間會被大大增長。

就Web服務器而言，他打開了越多的鏈接進程，CPU須要處理的上下文切換也越多，額外增長了CPU的消耗，而後就直接致使平均響應時間增長。所以上述的MaxClient數目，要根據CPU、內存等硬件因素綜合考慮，絕對不是越多越好。能夠經過Apache自帶的ab來測試一下，取一個合適的值。而後，咱們選擇內存操做級別的存儲的Redis，在高併發的狀態下，存儲的響應時間相當重要。網絡帶寬雖然也是一個因素，不過，這種請求數據包通常比較小，通常不多成爲請求的瓶頸。負載均衡成爲系統瓶頸的狀況比較少，在這裏不作討論哈。

那麼問題來了，假設咱們的系統，在5w/s的高併發狀態下，平均響應時間從100ms變爲250ms（實際狀況，甚至更多）：

20*500/0.25 = 40000 （4萬QPS）

因而，咱們的系統剩下了4w的QPS，面對5w每秒的請求，中間相差了1w。

舉個例子，高速路口，1秒鐘來5部車，每秒經過5部車，高速路口運做正常。忽然，這個路口1秒鐘只能經過4部車，車流量仍然依舊，結果一定出現大塞車。（5條車道突然變成4條車道的感受）

同理，某一個秒內，20*500個可用鏈接進程都在滿負荷工做中，卻仍然有1萬個新來請求，沒有鏈接進程可用，系統陷入到異常狀態也是預期以內。

 

其實在正常的非高併發的業務場景中，也有相似的狀況出現，某個業務請求接口出現問題，響應時間極慢，將整個Web請求響應時間拉得很長，逐漸將Web服務器的可用鏈接數佔滿，其餘正常的業務請求，無鏈接進程可用。

更可怕的問題是，是用戶的行爲特色，系統越是不可用，用戶的點擊越頻繁，惡性循環最終致使「雪崩」（其中一臺Web機器掛了，致使流量分散到其餘正常工做的機器上，再致使正常的機器也掛，而後惡性循環），將整個Web系統拖垮。

3. 重啓與過載保護

若是系統發生「雪崩」，貿然重啓服務，是沒法解決問題的。最多見的現象是，啓動起來後，馬上掛掉。這個時候，最好在入口層將流量拒絕，而後再將重啓。若是是redis/memcache這種服務也掛了，重啓的時候須要注意「預熱」，而且極可能須要比較長的時間。

秒殺和搶購的場景，流量每每是超乎咱們系統的準備和想象的。這個時候，過載保護是必要的。若是檢測到系統滿負載狀態，拒絕請求也是一種保護措施。在前端設置過濾是最簡單的方式，可是，這種作法是被用戶「千夫所指」的行爲。更合適一點的是，將過載保護設置在CGI入口層，快速將客戶的直接請求返回

高併發下的數據安全

咱們知道在多線程寫入同一個文件的時候，會存現「線程安全」的問題（多個線程同時運行同一段代碼，若是每次運行結果和單線程運行的結果是同樣的，結果和預期相同，就是線程安全的）。若是是MySQL數據庫，可使用它自帶的鎖機制很好的解決問題，可是，在大規模併發的場景中，是不推薦使用MySQL的。秒殺和搶購的場景中，還有另一個問題，就是「超發」，若是在這方面控制不慎，會產生髮送過多的狀況。咱們也曾經據說過，某些電商搞搶購活動，買家成功拍下後，商家卻不認可訂單有效，拒絕發貨。這裏的問題，也許並不必定是商家奸詐，而是系統技術層面存在超發風險致使的。

1. 超發的緣由

假設某個搶購場景中，咱們一共只有100個商品，在最後一刻，咱們已經消耗了99個商品，僅剩最後一個。這個時候，系統發來多個併發請求，這批請求讀取到的商品餘量都是99個，而後都經過了這一個餘量判斷，最終致使超發。

 

在上面的這個圖中，就致使了併發用戶B也「搶購成功」，多讓一我的得到了商品。這種場景，在高併發的狀況下很是容易出現。

優化方案1：將庫存字段number字段設爲unsigned，當庫存爲0時，由於字段不能爲負數，將會返回false

<?php
//優化方案1：將庫存字段number字段設爲unsigned，當庫存爲0時，由於字段不能爲負數，將會返回false
include('./mysql.php');
$username = 'wang'.rand(0,1000);
//生成惟一訂單
function build_order_no(){
  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
}
//記錄日誌
function insertLog($event,$type=0,$username){
    global $conn;
    $sql="insert into ih_log(event,type,usernma)
    values('$event','$type','$username')";
    return mysqli_query($conn,$sql);
}
function insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number)
{
      global $conn;
      $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price,username,number)
      values('$order_sn','$user_id','$goods_id','$sku_id','$price','$username','$number')";
     return  mysqli_query($conn,$sql);
}
//模擬下單操做
//庫存是否大於0
$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' ";
$rs=mysqli_query($conn,$sql);
$row = $rs->fetch_assoc();
  if($row['number']>0){//高併發下會致使超賣
      if($row['number']<$number){
        return insertLog('庫存不夠',3,$username);
      }
      $order_sn=build_order_no();
      //庫存減小
      $sql="update ih_store set number=number-{$number} where sku_id='$sku_id' and number>0";
      $store_rs=mysqli_query($conn,$sql);
      if($store_rs){
          //生成訂單
          insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number);
          insertLog('庫存減小成功',1,$username);
      }else{
          insertLog('庫存減小失敗',2,$username);
      }
  }else{
      insertLog('庫存不夠',3,$username);
  }


?>
2. 悲觀鎖思路

解決線程安全的思路不少，能夠從「悲觀鎖」的方向開始討論。

悲觀鎖，也就是在修改數據的時候，採用鎖定狀態，排斥外部請求的修改。遇到加鎖的狀態，就必須等待。

 

雖然上述的方案的確解決了線程安全的問題，可是，別忘記，咱們的場景是「高併發」。也就是說，會不少這樣的修改請求，每一個請求都須要等待「鎖」，某些線程可能永遠都沒有機會搶到這個「鎖」，這種請求就會死在那裏。同時，這種請求會不少，瞬間增大系統的平均響應時間，結果是可用鏈接數被耗盡，系統陷入異常。

優化方案2：使用MySQL的事務，鎖住操做的行

<?php
//優化方案2：使用MySQL的事務，鎖住操做的行
include('./mysql.php');
//生成惟一訂單號
function build_order_no(){
  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
}
//記錄日誌
function insertLog($event,$type=0){
    global $conn;
    $sql="insert into ih_log(event,type)
    values('$event','$type')";
    mysqli_query($conn,$sql);
}

//模擬下單操做
//庫存是否大於0
mysqli_query($conn,"BEGIN");  //開始事務
$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' FOR UPDATE";//此時這條記錄被鎖住,其它事務必須等待這次事務提交後才能執行
$rs=mysqli_query($conn,$sql);
$row=$rs->fetch_assoc();
if($row['number']>0){
    //生成訂單
    $order_sn=build_order_no();
    $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)
    values('$order_sn','$user_id','$goods_id','$sku_id','$price')";
    $order_rs=mysqli_query($conn,$sql);
    //庫存減小
    $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";
    $store_rs=mysqli_query($conn,$sql);
    if($store_rs){
      echo '庫存減小成功';
        insertLog('庫存減小成功');
        mysqli_query($conn,"COMMIT");//事務提交即解鎖
    }else{
      echo '庫存減小失敗';
        insertLog('庫存減小失敗');
    }
}else{
  echo '庫存不夠';
    insertLog('庫存不夠');
    mysqli_query($conn,"ROLLBACK");
}
?>
3. FIFO隊列思路

那好，那麼咱們稍微修改一下上面的場景，咱們直接將請求放入隊列中的，採用FIFO（First Input First Output，先進先出），這樣的話，咱們就不會致使某些請求永遠獲取不到鎖。看到這裏，是否是有點強行將多線程變成單線程的感受哈。

 而後，咱們如今解決了鎖的問題，所有請求採用「先進先出」的隊列方式來處理。那麼新的問題來了，高併發的場景下，由於請求不少，極可能一瞬間將隊列內存「撐爆」，而後系統又陷入到了異常狀態。或者設計一個極大的內存隊列，也是一種方案，可是，系統處理完一個隊列內請求的速度根本沒法和瘋狂涌入隊列中的數目相比。也就是說，隊列內的請求會越積累越多，最終Web系統平均響應時候仍是會大幅降低，系統仍是陷入異常。

附:RabbitMQ隊列使用 -> https://my.oschina.net/wangjie404/blog/819141

4. 文件鎖的思路

對於日IP不高或者說併發數不是很大的應用，通常不用考慮這些！用通常的文件操做方法徹底沒有問題。但若是併發高，在咱們對文件進行讀寫操做時，頗有可能多個進程對進一文件進行操做，若是這時不對文件的訪問進行相應的獨佔，就容易形成數據丟失

優化方案4：使用非阻塞的文件排他鎖

<?php
//優化方案4：使用非阻塞的文件排他鎖
include ('./mysql.php');
//生成惟一訂單號
function build_order_no(){
  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
}
//記錄日誌
function insertLog($event,$type=0){
    global $conn;
    $sql="insert into ih_log(event,type)
    values('$event','$type')";
    mysqli_query($conn,$sql);
}


$fp = fopen("lock.txt", "w+");
if(!flock($fp,LOCK_EX | LOCK_NB)){
    echo "系統繁忙，請稍後再試";
    return;
}
//下單
$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id'";
$rs =  mysqli_query($conn,$sql);
$row = $rs->fetch_assoc();
if($row['number']>0){//庫存是否大於0
    //模擬下單操做
    $order_sn=build_order_no();
    $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)
    values('$order_sn','$user_id','$goods_id','$sku_id','$price')";
    $order_rs =  mysqli_query($conn,$sql);
    //庫存減小
    $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";
    $store_rs =  mysqli_query($conn,$sql);
    if($store_rs){
      echo '庫存減小成功';
        insertLog('庫存減小成功');
        flock($fp,LOCK_UN);//釋放鎖
    }else{
      echo '庫存減小失敗';
        insertLog('庫存減小失敗');
    }
}else{
  echo '庫存不夠';
    insertLog('庫存不夠');
}
fclose($fp);


 ?>
 

5. 樂觀鎖思路

這個時候，咱們就能夠討論一下「樂觀鎖」的思路了。樂觀鎖，是相對於「悲觀鎖」採用更爲寬鬆的加鎖機制，大都是採用帶版本號（Version）更新。實現就是，這個數據全部請求都有資格去修改，但會得到一個該數據的版本號，只有版本號符合的才能更新成功，其餘的返回搶購失敗。這樣的話，咱們就不須要考慮隊列的問題，不過，它會增大CPU的計算開銷。可是，綜合來講，這是一個比較好的解決方案。

 

有不少軟件和服務都「樂觀鎖」功能的支持，例如Redis中的watch就是其中之一。經過這個實現，咱們保證了數據的安全。

優化方案5：Redis中的watch

<?php

$redis = new redis();
 $result = $redis->connect('127.0.0.1', 6379);
 echo $mywatchkey = $redis->get("mywatchkey");

$rob_total = 100;   //搶購數量
if($mywatchkey<=$rob_total){
    $redis->watch("mywatchkey");
    $redis->multi(); //在當前鏈接上啓動一個新的事務。
    //插入搶購數據
    $redis->set("mywatchkey",$mywatchkey+1);
    $rob_result = $redis->exec();
    if($rob_result){
         $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),$mywatchkey);
        $mywatchlist = $redis->hGetAll("watchkeylist");
        echo "搶購成功！<br/>";
     
        echo "剩餘數量：".($rob_total-$mywatchkey-1)."<br/>";
        echo "用戶列表：<pre>";
        var_dump($mywatchlist);
    }else{
          $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),'meiqiangdao');
        echo "手氣很差，再搶購！";exit;
    }
}
?>
附：RabbitMQ隊列使用 -> https://my.oschina.net/wangjie404/blog/819141

　　轉載：https://my.oschina.net/wangjie404/blog/815455