淺談數據庫分表

1、概述
分表是個目前算是比較炒的比較流行的概念，特別是在大負載的狀況下，分表是一個良好分散數據庫壓力的好方法。
首先要了解爲何要分表，分表的好處是什麼。咱們先來大概瞭解如下一個數據庫執行SQL的過程：
接收到SQL --> 放入SQL執行隊列 --> 使用分析器分解SQL --> 按照分析結果進行數據的提取或者修改 --> 返回處理結果
當 然，這個流程圖不必定正確，這只是我本身主觀意識上這麼我認爲。那麼這個處理過程中，最容易出現問題的是什麼？就是說，若是前一個SQL沒有執行完畢的 話，後面的SQL是不會執行的，由於爲了保證數據的完整性，必須對 數據表文件進行鎖定，包括共享鎖和獨享鎖兩種鎖定。共享鎖是在鎖定的期間，其它線程也可 以訪問這個數據文件，可是不容許修改操做，相應的，獨享鎖就是整個文件就是歸一個線程全部，其它線程沒法訪問這個數據文件。通常MySQL中最快的存儲引 擎MyISAM，它是基於表鎖定的，就是說若是一鎖定的話，那麼整個數據文件外部都沒法訪問，必須等前一個操做完成後，才能接收下一個操做，那麼在這個前 一個操做沒有執行完成，後一個操做等待在隊列裏沒法執行的狀況叫作阻塞，通常咱們通俗意義上叫作「鎖表」。
鎖表直接致使的後果是什麼？就是大量的SQL沒法當即執行，必須等隊列前面的SQL所有執行完畢才能繼續執行。這個沒法執行的SQL就會致使沒有結果，或者延遲嚴重，影響用戶體驗。
特別是對於一些使用比較頻繁的表，好比SNS系統中的用戶信息表、論壇系統中的帖子表等等，都是訪問量大很大的表，爲了保證數據的快速提取返回給用戶，必須使用一些處理方式來解決這個問題，這個就是我今天要聊到的分表技術。
分 表技術顧名思義，就是把若干個存儲相同類型數據的表分紅幾個表分表存儲，在提取數據的時候，不一樣的用戶訪問不一樣的表，互不衝突，減小鎖表的概率。好比，目 前保存用戶分表有兩個表，一個是user_1表，還有一個是 user_2 表，兩個表保存了不一樣的用戶信息，user_1 保存了前10萬的用戶信息，user_2保存了後10萬名用戶的信息，如今若是同時查詢用戶 heiyeluren1 和 heiyeluren2 這個兩個用戶，那麼就是分表從不一樣的表提取出來，減小鎖表的可能。
我下面要講述的兩種分表方法我本身都沒有實驗過，不保證準確能用，只是提供一個 設計思路。下面關於分表的例子我假設是在一個貼吧系統的基礎上來進行處理和構建的。（若是沒有用過貼吧的用戶趕忙Google一下） 2、基於基礎表的分表處理 這 個基於基礎表的分表處理方式大體的思想就是：一個主要表，保存了全部的基本信息，若是某個項目須要找到它所存儲的表，那麼必須從這個基礎表中查找出對應的 表名等項目，好直接訪問這個表。若是以爲這個基礎錶速度不夠快，能夠徹底把整個基礎表保存在緩存或者內存中，方便有效的查詢。 咱們基於貼吧的狀況，構建假設以下的3張表： 1. 貼吧版塊表: 保存貼吧中版塊的信息 2. 貼吧主題表：保存貼吧中版塊中的主題信息，用於瀏覽 3. 貼吧回覆表：保存主題的原始內容和回覆內容 「貼吧版塊表」包含以下字段： 版塊ID       board_id          int(10) 版塊名稱    board_name      char(50) 子表ID       table_id            smallint(5) 產生時間    created             datetime 「貼吧主題表」包含以下字段： 主題ID          topic_id        int(10) 主題名稱        topic_name     char(255) 版塊ID          board_id          int(10) 建立時間       created           datetime 「貼吧回覆表」的字段以下： 回覆ID        reply_id           int(10) 回覆內容      reply_text        text 主題ID        topic_id           int(10) 版塊ID        board_id         int(10) 建立時間      created            datetime 那麼上面保存了咱們整個貼吧中的表結構信息，三個表對應的關係是： 版塊 --> 多個主題 主題 --> 多個回覆 那麼就是說，表文件大小的關係是： 版塊表文件 < 主題表文件 < 回覆表文件 因此基本能夠肯定須要對主題表和回覆表進行分表，已增長咱們數據檢索查詢更改時候的速度和性能。 看了上面的表結構，會明顯發現，在「版塊表」中保存了一個"table_id"字段，這個字段就是用於保存一個版塊對應的主題和回覆都是分表保存在什麼表裏的。 好比咱們有一個叫作「PHP」的貼吧，board_id是1，子表ID也是1，那麼這條記錄就是： board_id | board_name | table_id | created 1 | PHP | 1 | 2007-01-19 00:30:12 相應的，若是我須要提取「PHP」吧裏的全部主題，那麼就必須按照表裏保存的table_id來組合一個存儲了主題的表名稱，好比咱們主題表的前綴是「topic_」，那麼組合出來「PHP」吧對應的主題表應該是：「topic_1」，那麼咱們執行： 基於Hash算法的分表處理 咱們知道Hash表就是經過某個特殊的Hash算法計算出的一個值，這個值必須是唯一的，而且可以使用這個計算出來的值查找到須要的值，這個叫作哈希表。 咱們在分表裏的hash算法跟這個思想相似：經過一個原始目標的ID或者名稱經過必定的hash算法計算出數據存儲表的表名，而後訪問相應的表。 繼續拿上面的貼吧來講，每一個貼吧有版塊名稱和版塊ID，那麼這兩項值是固定的，而且是唯一的，那麼咱們就能夠考慮經過對這兩項值中的一項進行一些運算得出一個目標表的名稱。 如今假如咱們針對咱們這個貼吧系統，假設系統最大容許1億條數據，考慮每一個表保存100萬條記錄，那麼整個系統就不超過100個表就可以容納。按照這個標準，咱們假設在貼吧的版塊ID上進行hash，得到一個key值，這個值就是咱們的表名，而後訪問相應的表。 咱們構造一個簡單的hash算法： function get_hash($id){      $str = bin2hex($id);      $hash = substr($str, 0, 4);      if (strlen($hash)<4){          $hash = str_pad($hash, 4, "0");      }      return $hash; } 算法大體就是傳入一個版塊ID值，而後函數返回一個4位的字符串，若是字符串長度不夠，使用0進行補全。 比 如：get_hash(1)，輸出的結果是「3100」，輸入：get_hash(23819)，獲得的結果是：3233，那麼咱們通過簡單的跟表前綴組 合，就可以訪問這個表了。那麼咱們須要訪問ID爲1的內容時候哦，組合的表將是：topic_3100、reply_3100，那麼就能夠直接對目標表進 行訪問了。 固然，使用hash算法後，有部分數據是可能在同一個表的，這一點跟hash表不一樣，hash表是儘可能解決衝突，咱們這裏不須要，固然一樣須要預測和分析表數據可能保存的表名。 若是須要存儲的數據更多，一樣的，能夠對版塊的名字進行hash操做，好比也是上面的二進制轉換成十六進制，由於漢字比數字和字母要多不少，那麼重複概率更小，可是可能組合成的表就更多了，相應就必須考慮一些其它的問題。 歸根結底，使用hash方式的話必須選擇一個好的hash算法，才能生成更多的表，然數據查詢的更迅速。 【優勢hash算法直接得出目標表名稱，效率很高】經過 【劣勢】擴展性比較差，選擇了一個hash算法，定義了多少數據量，之後只能在這個數據量上跑，不能超過過這個數據量，可擴展性稍差 4、其它問題 1. 搜索問題 如今咱們已經進行分表了，那麼就沒法直接對錶進行搜索，由於你沒法對可能系統中已經存在的幾十或者幾百個表進行檢索，因此搜索必須藉助第三方的組件來進行，好比Lucene做爲站內搜索引擎是個不錯的選擇。 2. 表文件問題 我 們知道MySQL的MyISAM引擎每一個表都會生成三個文件，*.frm、*.MYD、*.MYI 三個文件，分表用來保存表結構、表數據和表索引。Linux下面每一個目錄下的文件數量最好不要超過1000個，否則檢索數據將更慢，那麼每一個表都會生成三 個文件，相應的若是分表超過300個表，那麼將檢索很是慢，因此這時候就必須再進行分，好比在進行數據庫的分離。 使用基礎表，咱們能夠新增長一個字段，用來保存這個表保存在什麼數據。使用Hash的方式，咱們必須截取hash值中第幾位來做爲數據庫的名字。這樣，無缺的解決這個問題。