mysql快速刪除大表

先說明一下,在這裏有一個前提,mysql開啓了獨立表空間,MySQL5.6.7以後默認開啓。
也就是在my.cnf中,有這麼一條配置(這些是屬於mysql優化的知識,後期給你們介紹)node

innodb_file_per_table = 1

查看錶空間狀態,用下面的命令mysql

mysql> show variables like '%per_table';  
+-----------------------+-------+  
| Variable_name         | Value |  
+-----------------------+-------+  
|
 innodb_file_per_table | OFF   |  
+-----------------------+-------+

若是innodb_file_per_tablevalue值爲OFF,表明採用的是共享表空間
若是innodb_file_per_tablevalue值爲ON ,表明採用的是獨立表空間
因而,你們要問我,獨立表空間共享表空間的區別?
共享表空間:某一個數據庫的全部的表數據,索引文件所有放在一個文件中,默認這個共享表空間的文件路徑在data目錄下。 默認的文件名爲:ibdata1(此文件,能夠擴展成多個)。注意,在這種方式下,運維超級不方便。你看,全部數據都在一個文件裏,要對單表維護,十分不方便。另外,你在作delete操做的時候,文件內會留下不少間隙,ibdata1文件不會自動收縮。換句話說,使用共享表空間來存儲數據,會遭遇drop table以後,空間沒法釋放的問題。linux

獨立表空間:每個表都以獨立方式來部署,每一個表都有一個.frm表描述文件,還有一個.ibd文件。 
.frm文件:保存了每一個表的元數據,包括表結構的定義等,該文件與數據庫引擎無關。
.ibd文件:保存了每一個表的數據和索引的文件。
注意,在這種方式下,每一個表都有自已獨立的表空間,這樣運維起來方便,能夠實現單表在不一樣數據庫之間的移動。另外,在執行drop table操做的時候,是能夠自動回收表空間。在執行delete操做後,能夠經過執行alter table TableName engine=innodb語句來整理碎片,回收部分表空間。sql

ps:my.cnf中的datadir就是用來設置數據存儲目錄數據庫

好了,上面巴拉巴拉了一大堆,我只想說一個事情:windows

在絕大部分狀況下,運維必定會爲mysql選擇獨立表空間的存儲方式,由於採用獨立表空間的方式,從性能優化和運維難易角度來講,實在強太多。性能優化

因此,我在一開始所提到的前提,mysql須要開啓獨立表空間。這個假設,百分九十的狀況下是成立的。若是真的遇到了,大家公司的mysql採用的是共享表空間的狀況,請你和大家家的運維談談心,問問爲啥用共享表空間mysql優化

正確姿式

假設,咱們有datadir = /data/mysql/,另外,咱們有一個database,名爲mytest。在數據庫mytest中,有一個表,名爲erp,執行下列命令app

mysql> system ls -l /data/mysql/mytest/

獲得下面的輸出(我過濾了一下)運維

-rw-r----- 1 mysql mysql          9023  8 18 05:21 erp.frm
-rw-r----- 1 mysql mysql 2356792000512  8 18 05:21 erp.ibd

frmibd的做用,上面介紹過了。如今就是erp.ibd文件太大,因此刪除卡住了。
如何解決這個問題呢?
這裏須要利用了linux中硬連接的知識,來進行快速刪除。下面容我上《鳥哥的私房菜》中的一些內容,
軟連接其實你們能夠類比理解爲windows中的快捷方式,就很少介紹了,主要介紹一下硬連接。
至於這個硬連接,我簡單說一下,不想貼一大堆話過來,看起來太累。
就是對於真正存儲的文件來講,有一個Inode Index指向存儲文件

而後呢有一個文件名指向的Inode Index

那麼,所謂的硬連接,就是不止一個文件名指向Inode Index,有好幾個文件名指向Inode Index

假設,這會又有一個文件名指向上面的Inode Index,即

這個時候,你作了刪除文件名(1)的操做,linux系統檢測到,還有一個文件名(2)指向Inode Index,所以並不會真正的把文件刪了,而是把文件名(1)的引用給刪了,這步操做很是快,畢竟只是刪除引用。因而圖就變成了這樣

接下來,你再作刪除文件名(2)的操做,linux系統檢測到,沒有其餘文件名指向該Inode Index,就會刪除真正的存儲文件,這步操做,是刪真正的文件,因此比較慢。

OK,咱們用的就是上面的原理。
先給erp.ibd創建一個硬連接,利用ln命令

mysql> system ln /data/mysql/mytest/erp.ibd /data/mysql/mytest/erp.ibd.hdlk 

此時,文件目錄以下所示

-rw-r----- 1 mysql mysql          9023  8 18 05:21 erp.frm
-rw-r----- 2 mysql mysql 2356792000512  8 18 05:21 erp.ibd
-rw-r----- 2 mysql mysql 2356792000512  8 18 05:21 erp.ibd.hdlk 

你會發現,多了一個erp.ibd.hdlk文件,且erp.ibderp.ibd.hdlk的innode均爲2。
此時,你執行drop table操做

mysqldrop table erp;
Query OK, 0 rows affected (0.99 sec)

你會發現,不到1秒就刪除了。由於,此時有兩個文件名稱(erp.ibderp.ibd.hdlk),同時指向一個innode.這個時候,執行刪除操做,只是把引用給刪了,因此很是快。
那麼,這時的刪除,已經把table從mysql中刪除。可是磁盤空間,還沒釋放,由於還剩一個文件erp.ibd.hdlk
如何正確的刪除erp.ibd.hdlk呢?
若是你沒啥經驗,必定會回答我,用rm命令來刪。這裏須要說明的是,在生產環境,直接用rm命令來刪大文件,會形成磁盤IO開銷飆升,CPU負載太高,是會影響其餘程序運行的。
那麼,這種時候,就是應該用truncate命令來進行刪除。須要說明的是,truncate命令在coreutils工具集中,須要另外安裝。

詳情,你們能夠去百度一下安裝教程。另外,網上有流傳一些文章,這些文章對rmtruncate命令專程測試過,truncate命令對磁盤IO,CPU負載幾乎無影響。
刪除腳本以下

TRUNCATE=/usr/local/bin/truncate
for i in `seq 2194 -10 10 `
do 
  sleep 2
  $TRUNCATE -s ${i}G /data/mysql/mytest/erp.ibd.hdlk 
done
rm -rf /data/mysql/mytest/erp.ibd.hdlk ;

從2194G開始,每次縮減10G,停2秒,繼續,直到文件只剩10G,最後使用rm命令刪除剩餘的部分。

其餘狀況

這裏指的是,若是數據庫是部署在windows上怎麼辦。這個問題,我來回答,其實不夠專業。由於我出道以來,還沒碰到過,生產環境上,mysql是部在windows上的。假設真的碰到了,windows下有一個工具叫mklink,是能夠在windows下建立硬連接,應該能完成相似功能。

相關文章
相關標籤/搜索