二分法在IP地址查詢中的應用（來自深空老大）

前段時間作數據分析，須要大量的IP地址查詢（每秒鐘近萬次檢索），首先考慮到使用數據庫。數據庫大概存儲幾十萬條IP記錄，記錄集以下：

1 2 3 4 5 6 7 8 9

+----------+----------+------------+---------+---------+--------+--------+ | ip_begin | ip_end   | country_id | prov_id | city_id | isp_id | netbar | +----------+----------+------------+---------+---------+--------+--------+ |        0 | 16777215 |          2 |       0 |       0 |      0 |      0 | | 16777216 | 33554431 |          2 |       0 |       0 |      0 |      0 | | 33554432 | 50331647 |          2 |       0 |       0 |      0 |      0 | | 50331648 | 67108863 |          3 |       0 |       0 |      0 |      0 | | 67108864 | 67829759 |          3 |       0 |       0 |      0 |      0 | +----------+----------+------------+---------+---------+--------+--------+

這樣作查詢須要用到以下SQL：

1 2 3

<?php $sql = 'SELECT * FROM i_m_ip WHERE ip_begin <= $client_ip AND ip_end >= $client_ip' ; ?>

這樣的檢索顯然用不到索引，即便用到，MySQL查詢效率也不大可能達到每秒500次以上，我作了不少併發優化，最終平均查詢效率也只有每秒200次左右，實在是頭痛。一開始我也有想到借鑑純真IP庫的檢索方法，可是我一直對算法有抵觸，也覺得二分法很難，因此就沒有嘗試使用，直到最後沒有辦法了，才最終實現了二分法的IP地址檢索。
從上表能夠看到IP庫是從0到4294967295的一個連續數值，這個數值要是拆開存儲，會有幾百G的數據，因此沒辦法使用索引也沒辦法哈希。最終我使用PHP將這些東東轉爲二進制存儲，拋棄了數據庫的檢索。能夠看到IP起止長度爲一個4字節的長整型，後面的國家ID、省份ID等，可使用2個字節的短整型來存儲，總共一行數據就有18個字節，總共31萬條數據，算起來也就5M的樣子。具體IP庫生成代碼以下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

<?php /* IP文件格式： 3741319168  3758096383  182 0   0   0   0 3758096384  3774873599  3   0   0   0   0 3774873600  4026531839  182 0   0   0   0 4026531840  4278190079  182 0   0   0   0 4294967040  4294967295  312 0   0   0   0 */ set_time_limit(0); $handle = fopen ( './ip.txt' , 'rb' ); $fp = fopen ( "./ip.dat" , 'ab' ); if ( $handle ) {      while (! feof ( $handle )) {          $buffer = fgets ( $handle );          $buffer = trim( $buffer );          $buffer = explode ( "t" , $buffer );          foreach ( $buffer as $key => $value ) {              $buffer [ $key ] = (float) trim( $value );          }          $str = pack( 'L' , $buffer [0]);          $str .= pack( 'L' , $buffer [1]);          $str .= pack( 'S' , $buffer [2]);          $str .= pack( 'S' , $buffer [3]);          $str .= pack( 'S' , $buffer [4]);          $str .= pack( 'S' , $buffer [5]);          $str .= pack( 'S' , $buffer [6]);          fwrite( $fp , $str );      } } ?>

這樣IP就按照順序每18字節一個單位排列了，因此很容易就使用二分法來檢索出IP信息：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

function getip( $ip , $fp ) {      fseek ( $fp , 0);      $begin = 0;      $end   = filesize ( './ip.dat' );      $begin_ip = implode( '' , unpack( 'L' , fread ( $fp , 4)));      fseek ( $fp , $end - 14);      $end_ip   = implode( '' , unpack( 'L' , fread ( $fp , 4)));      $begin_ip = sprintf( '%u' , $begin_ip );      $end_ip   = sprintf( '%u' , $end_ip );         do {          if ( $end - $begin <= 18) {              fseek ( $fp , $begin + 8);              $info = array ();              $info [0] = implode( '' , unpack( 'S' , fread ( $fp , 2)));              $info [1] = implode( '' , unpack( 'S' , fread ( $fp , 2)));              $info [2] = implode( '' , unpack( 'S' , fread ( $fp , 2)));              $info [3] = implode( '' , unpack( 'S' , fread ( $fp , 2)));              $info [4] = implode( '' , unpack( 'S' , fread ( $fp , 2)));              return $info ;          }             $middle_seek = ceil ((( $end - $begin ) / 18) / 2) * 18 + $begin ;             fseek ( $fp , $middle_seek );          $middle_ip = implode( '' , unpack( 'L' , fread ( $fp , 4)));          $middle_ip = sprintf( '%u' , $middle_ip );             if ( $ip >= $middle_ip ) {              $begin = $middle_seek ;          } else {              $end = $middle_seek ;          }      } while (true); }

以上$fp爲打開ip.dat的文件句柄，因爲是循環檢索，因此寫在函數外面，省得每次檢索都要打開一次文件，30W行數據二分法最多也只須要循環7次(2^7)左右便可找到準確的IP信息。以後原本還想將ip.dat放在內存中加快檢索速度，後來發現，字符串定位函數的效率，根本和文件指針的偏移定位不是在一個數量級的，因此仍是放棄使用內存來存放IP庫。
這個實現，使IP檢索效率提升了近百倍，只是一個簡單的二分法的應用，今後算法在WEB應用中不重要的觀念完全打消了。其實要實現這個，我還請教了金狐，我一開始是請他幫我生成一個純真格式的IP庫，而後用Discuz的IP查詢函數來檢索，不過他不願幫我，最後造就了個人這個實踐和學習。有時候，求人不如求己。