Innodb中MySQL如何快速刪除2T的大表

轉自：http://database.51cto.com/art/201808/582324.htm

OK，這裏就說了。假設，你有一個表erp,若是你直接進行下面的命令：

1、drop table erp 

這個時候全部的mysql的相關進程都會中止，直到drop結束，mysql纔會恢復執行。出現這個狀況的緣由就是由於，在drop table的時候，innodb維護了一個全局鎖，drop完畢鎖就釋放了。

這意味着，若是在白天，訪問量很是大的時候，若是你在不作任何處理措施的狀況下，執行了刪大表的命令，整個mysql就掛在那了，在刪表期間，QPS會嚴重下滑，而後產品經理就來找你喝茶了。因此纔有了漫畫中的一幕，你能夠在晚上十二點，夜深人靜的時候再刪。

固然，有的人不服，可能會說："你能夠寫一個刪除表的存儲過程，在晚上沒啥訪問量的時候運行一次就行。"

我心裏一驚，細想一下，只能說："你們仍是別擡槓了，仍是聽我說一下業內通用作法。"

1.1  一個假設

先說明一下，在這裏有一個前提，mysql開啓了獨立表空間，MySQL5.6.7以後默認開啓。

也就是在my.cnf中，有這麼一條配置(這些是屬於mysql優化的知識，後期給你們介紹) 。

innodb_file_per_table = 1

查看錶空間狀態，用下面的命令

mysql> show variables like '%per_table';    
+-----------------------+-------+    
| Variable_name         | Value |    
+-----------------------+-------+    
| innodb_file_per_table | OFF   |    
+-----------------------+-------+

若是innodb_file_per_table的value值爲OFF，表明採用的是共享表空間。

若是innodb_file_per_table的value值爲ON ，表明採用的是獨立表空間。

因而，你們要問我，獨立表空間和共享表空間的區別？

共享表空間：某一個數據庫的全部的表數據，索引文件所有放在一個文件中，默認這個共享表空間的文件路徑在data目錄下。 默認的文件名爲:ibdata1(此文件，能夠擴展成多個)。注意，在這種方式下，運維超級不方便。你看，全部數據都在一個文件裏，要對單表維護，十分不方便。另外，你在作delete操做的時候，文件內會留下不少間隙，ibdata1文件不會自動收縮。換句話說，使用共享表空間來存儲數據，會遭遇drop table以後，空間沒法釋放的問題。

獨立表空間:每個表都以獨立方式來部署，每一個表都有一個.frm表描述文件，還有一個.ibd文件。

.frm文件：保存了每一個表的元數據，包括表結構的定義等，該文件與數據庫引擎無關。

.ibd文件：保存了每一個表的數據和索引的文件。

注意，在這種方式下，每一個表都有自已獨立的表空間，這樣運維起來方便，能夠實現單表在不一樣數據庫之間的移動。另外，在執行drop table操做的時候，是能夠自動回收表空間。在執行delete操做後，能夠經過執行alter table TableName engine=innodb語句來整理碎片，回收部分表空間。

ps：my.cnf中的datadir就是用來設置數據存儲目錄

好了，上面巴拉巴拉了一大堆，我只想說一個事情：

在絕大部分狀況下，運維必定會爲mysql選擇獨立表空間的存儲方式，由於採用獨立表空間的方式，從性能優化和運維難易角度來講，實在強太多。

因此，我在一開始所提到的前提，mysql須要開啓獨立表空間。這個假設，百分九十的狀況下是成立的。若是真的遇到了，大家公司的mysql採用的是共享表空間的狀況，請你和大家家的運維談談心，問問爲啥用共享表空間。

1.2  正確姿式

假設，咱們有datadir = /data/mysql/,另外，咱們有一個database,名爲mytest。在數據庫mytest中，有一個表，名爲erp，執行下列命令：

mysql> system ls -l /data/mysql/mytest/

獲得下面的輸出(我過濾了一下)

-rw-r----- 1 mysql mysql          9023  8 18 05:21 erp.frm  
-rw-r----- 1 mysql mysql 2356792000512  8 18 05:21 erp.ibd

frm和ibd的做用，上面介紹過了。如今就是erp.ibd文件太大，因此刪除卡住了。

1.3  如何解決這個問題呢？

這裏須要利用了linux中硬連接的知識，來進行快速刪除。下面容我上《鳥哥的私房菜》中的一些內容，軟連接其實你們能夠類比理解爲windows中的快捷方式，就很少介紹了，主要介紹一下硬連接。

至於這個硬連接，我簡單說一下，不想貼一大堆話過來，看起來太累。

就是對於真正存儲的文件來講，有一個Inode Index指向存儲文件：

而後呢有一個文件名指向的Inode Index：

那麼，所謂的硬連接，就是不止一個文件名指向Inode Index，有好幾個文件名指向Inode Index。

假設，這會又有一個文件名指向上面的Inode Index，即：

這個時候，你作了刪除文件名(1)的操做，linux系統檢測到，還有一個文件名(2)指向Inode Index，所以並不會真正的把文件刪了，而是把文件名(1)的引用給刪了，這步操做很是快，畢竟只是刪除引用。因而圖就變成了這樣：

接下來，你再作刪除文件名(2)的操做，linux系統檢測到，沒有其餘文件名指向該Inode Index，就會刪除真正的存儲文件，這步操做，是刪真正的文件，因此比較慢。

OK，咱們用的就是上面的原理。

先給erp.ibd創建一個硬連接，利用ln命令

mysql> system ln /data/mysql/mytest/erp.ibd /data/mysql/mytest/erp.ibd.hdlk

此時，文件目錄以下所示：

-rw-r----- 1 mysql mysql          9023  8 18 05:21 erp.frm  
-rw-r----- 2 mysql mysql 2356792000512  8 18 05:21 erp.ibd  
-rw-r----- 2 mysql mysql 2356792000512  8 18 05:21 erp.ibd.hdlk

你會發現，多了一個erp.ibd.hdlk文件，且erp.ibd和erp.ibd.hdlk的innode均爲2。

此時，你執行drop table操做：

mysql> drop table erp;  
Query OK, 0 rows affected (0.99 sec)

你會發現，不到1秒就刪除了。由於，此時有兩個文件名稱(erp.ibd和erp.ibd.hdlk),同時指向一個innode.這個時候，執行刪除操做，只是把引用給刪了，因此很是快。

那麼，這時的刪除，已經把table從mysql中刪除。可是磁盤空間，還沒釋放，由於還剩一個文件erp.ibd.hdlk。

1.4  如何正確的刪除erp.ibd.hdlk呢？

若是你沒啥經驗，必定會回答我，用rm命令來刪。這裏須要說明的是，在生產環境，直接用rm命令來刪大文件，會形成磁盤IO開銷飆升,CPU負載太高，是會影響其餘程序運行的。

那麼，這種時候，就是應該用truncate命令來進行刪除。須要說明的是，truncate命令在coreutils工具集中，須要另外安裝。

詳情，你們能夠去百度一下安裝教程。另外，網上有流傳一些文章，這些文章對rm和truncate命令專程測試過，truncate命令對磁盤IO，CPU負載幾乎無影響。

刪除腳本以下：

TRUNCATE=/usr/local/bin/truncate  
for i in `seq 2194 -10 10 `;   
do   
  sleep 2  
  $TRUNCATE -s ${i}G /data/mysql/mytest/erp.ibd.hdlk   
done  
rm -rf /data/mysql/mytest/erp.ibd.hdlk ;

從2194G開始，每次縮減10G，停2秒，繼續，直到文件只剩10G，最後使用rm命令刪除剩餘的部分。