MYSQL分區

時間 2019-11-08

標籤 mysql 分區欄目 MySQL 简体版

原文原文鏈接

1、什麼是數據庫分區

mysql數據庫中的數據是以文件的形勢存在磁盤上的，默認放在/mysql/data下面（能夠經過my.cnf中的datadir來查看），一張表主要對應着三個文件，一個是frm存放表結構的，一個是myd存放表數據的，一個是myi存表索引的。若是一張表的數據量太大的話，那麼myd,myi就會變的很大，查找數據就會變的很慢。
這個時候咱們能夠利用mysql的分區功能，在物理上將這一張表對應的三個文件，分割成許多個小塊，咱們查找一條數據時，就不用所有查找了，只要知道這條數據在哪一塊，而後在那一塊找就好了。若是表的數據太大，可能一個磁盤放不下，這個時候，咱們能夠把數據分配到不一樣的磁盤裏面去。

分區的二種方式

一、橫向分區

舉例來講明，假若有100W條數據，分紅十份，前10W條數據放到第一個分區，第二個10W條數據放到第二個分區，依此類推。也就是把表分紅了十分，和merge來分表相似。表的結構並無變化。

二、縱向分區

舉例來講明，在設計用戶表的時候，開始的時候沒有考慮好，而把我的的全部信息都放到了一張表裏面去，這樣這個表裏面就會有比較大的字段，分區的時候，能夠把這樣的大字段，分開來。

2、mysql的分區

一、mysql5.1及以上支持分區功能

安裝安裝的時候，咱們就能夠查看一下

[root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition  
 === Partition Support ===  
 Plugin Name:      partition  
 Description:      MySQL Partitioning Support  
 Supports build:   static  
 Configurations:   max, max-no-ndb

查看一下，若是發現有上面這個東西，說明他是支持分區的，默認是打開的。若是你已經安裝過了mysql的話。

mysql> show variables like "%part%";  
+-------------------+-------+  
| Variable_name     | Value |  
+-------------------+-------+  
| have_partitioning | YES   |  
+-------------------+-------+  
1 row in set (0.00 sec)

查看一下變量，若是支持的話，會有上面的提示的。

mysql> SHOW PLUGINS;

顯示全部插件，若是有partition ACTIVE STORAGE ENGINE GPL 插件則代表支持分區。

二、range分區

按照RANGE分區的表是經過以下一種方式進行分區的，每一個分區包含那些分區表達式的值位於一個給定的連續區間內的行。

建立range分區表  

CREATE TABLE IF NOT EXISTS `user` (  
    `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID',  
    `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱',  
    `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0爲男，1爲女',  
    PRIMARY KEY (`id`)  
) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  
    PARTITION BY RANGE (id) (  
    PARTITION p0 VALUES LESS THAN (3)
    DATA DIRECTORY = '/data01/data'  
    INDEX DIRECTORY = '/data02/idx',   // 數據文件位置和索引文件位置分開
    PARTITION p1 VALUES LESS THAN (6)
    DATA DIRECTORY = '/data11/data'  
    INDEX DIRECTORY = '/data12/idx',
    PARTITION p2 VALUES LESS THAN (9)
    DATA DIRECTORY = '/data21/data'  
    INDEX DIRECTORY = '/data22/idx',
    PARTITION p3 VALUES LESS THAN (12)
    DATA DIRECTORY = '/data31/data'  
    INDEX DIRECTORY = '/data32/idx',
    PARTITION p4 VALUES LESS THAN MAXVALUE
    DATA DIRECTORY = '/data41/data'  
    INDEX DIRECTORY = '/data42/idx',
);

插入一些數據  

INSERT INTO `test`.`user` (`name` ,`sex`) VALUES ('tank', '0'),('zhang',1),('ying',1),('張',1),('映',0),('test1',1),('tank2',1),('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1),('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1),('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1);

到存放數據庫表文件的地方看一下，my.cnf裏面有配置，datadir後面就是  

[root@BlackGhost test]# ls |grep user |xargs du -sh  
    4.0K    user#P#p0.MYD  
    4.0K    user#P#p0.MYI  
    4.0K    user#P#p1.MYD  
    4.0K    user#P#p1.MYI  
    4.0K    user#P#p2.MYD  
    4.0K    user#P#p2.MYI  
    4.0K    user#P#p3.MYD  
    4.0K    user#P#p3.MYI  
    4.0K    user#P#p4.MYD  
    4.0K    user#P#p4.MYI  
    12.0K   user.frm  
    4.0K    user.par

取出數據  

mysql> select count(id) as count from user;  
+-------+  
| count |  
+-------+  
|    25 |  
+-------+  
1 row in set (0.00 sec)

刪除第四個分區 

mysql> alter table user drop partition p4;  
Query OK, 0 rows affected (0.11 sec)  
Records: 0  Duplicates: 0  Warnings: 0

存放在分區裏面的數據丟失了，第四個分區裏面有14條數據，剩下的3個分區只有11條數據，可是統計出來的文件大小都是4.0K，從這兒咱們能夠看出分區的最小區塊是4K。

mysql> select count(id) as count from user;  
+-------+  
| count |  
+-------+  
|    11 |  
+-------+  
1 row in set (0.00 sec)

第四個區塊已刪除 

[root@BlackGhost test]# ls |grep user |xargs du -sh
    4.0K    user#P#p0.MYD  
    4.0K    user#P#p0.MYI  
    4.0K    user#P#p1.MYD  
    4.0K    user#P#p1.MYI  
    4.0K    user#P#p2.MYD  
    4.0K    user#P#p2.MYI  
    4.0K    user#P#p3.MYD  
    4.0K    user#P#p3.MYI  
    12.0K   user.frm  
    4.0K    user.par

能夠對現有表進行分區,而且會按規則自動的將表中的數據分配相應的分區中，這樣就比較好了，能夠省去不少事情，看下面的操做 

alter table aa partition by RANGE(id)(
    PARTITION p1 VALUES less than (1),  
    PARTITION p2 VALUES less than (5),  
    PARTITION p3 VALUES less than MAXVALUE);  
   //對15數據進行分區

總共有15條  

mysql> select count(*) from aa; 
    +----------+  
    | count(*) |  
    +----------+  
    |       15 |  
    +----------+  
    1 row in set (0.00 sec)

刪除一個分區  

mysql> alter table aa drop partition p2;  
    Query OK, 0 rows affected (0.30 sec)  
    Records: 0  Duplicates: 0  Warnings: 0

只有11條了，說明對現有的表分區成功了  

mysql> select count(*) from aa;  
    +----------+  
    | count(*) |  
    +----------+  
    |       11 |  
    +----------+  
    1 row in set (0.00 sec)

三、list分區

LIST分區中每一個分區的定義和選擇是基於某列的值從屬於一個值列表集中的一個值，而RANGE分區是從屬於一個連續區間值的集合。

這種方式失敗  

CREATE TABLE IF NOT EXISTS `list_part` (  
    `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID',  
    `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省',  
    `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱',  
    `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0爲男，1爲女',  
     PRIMARY KEY (`id`)  
) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  
    PARTITION BY LIST (province_id) (  
    PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),  
    PARTITION p1 VALUES IN (9,10,11,12,16,21),  
    PARTITION p2 VALUES IN (13,14,15,19),  
    PARTITION p3 VALUES IN (17,18,20,22,23,24)  
);  
ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function

這種方式成功 

CREATE TABLE IF NOT EXISTS `list_part` ( 
    `id` int(11) NOT NULL  COMMENT '用戶ID', 
    `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', 
    `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', 
    `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0爲男，1爲女'  
) ENGINE=INNODB  DEFAULT CHARSET=utf8  
    PARTITION BY LIST (province_id) (  
   PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),  
   PARTITION p1 VALUES IN (9,10,11,12,16,21),  
   PARTITION p2 VALUES IN (13,14,15,19),  
   PARTITION p3 VALUES IN (17,18,20,22,23,24)  
);  
Query OK, 0 rows affected (0.33 sec)

上面的這個建立list分區時，若是有主鍵的話，分區時主鍵必須在其中，否則就會報錯。若是我不用主鍵，分區就建立成功了，通常狀況下，一個張表確定會有一個主鍵，這算是一個分區的侷限性吧。
若是對數據進行測試，請參考range分區的測試來操做。html

四、hash分區

HASH分區主要用來確保數據在預先肯定數目的分區中平均分佈，你所要作的只是基於將要被哈希的列值指定一個列值或表達式，以及指定被分區的表將要被分割成的分區數量。

CREATE TABLE IF NOT EXISTS `hash_part` (  
    `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '評論ID',  
    `comment` varchar(1000) NOT NULL DEFAULT '' COMMENT '評論',  
    `ip` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP',  
    PRIMARY KEY (`id`)  
) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  
    PARTITION BY HASH(id)  
    PARTITIONS 3;

測試請參考range分區的操做。

五、key分區

按照KEY進行分區相似於按照HASH分區，除了HASH分區使用的用戶定義的表達式，而KEY分區的哈希函數是由MySQL 服務器提供。

CREATE TABLE IF NOT EXISTS `key_part` (  
    `news_id` int(11) NOT NULL  COMMENT '新聞ID',  
    `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容',  
    `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP',  
    `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時間'  
) ENGINE=INNODB  DEFAULT CHARSET=utf8  
    PARTITION BY LINEAR HASH(YEAR(create_time))  
    PARTITIONS 3;

測試請參考range分區的操做。

六、子分區

子分區是分區表中每一個分區的再次分割，子分區既可使用HASH希分區，也可使用KEY分區。這也被稱爲複合分區（composite partitioning）。
1，若是一個分區中建立了子分區，其餘分區也要有子分區 \
2，若是建立了了分區，每一個分區中的子分區數必有相同 \
3，同一分區內的子分區，名字不相同，不一樣分區內的子分區名子能夠相同（5.1.50不適用）mysql

CREATE TABLE IF NOT EXISTS `sub_part` (  
    `news_id` int(11) NOT NULL  COMMENT '新聞ID',  
    `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容',  
    `u_id`  int(11) NOT NULL DEFAULT 0s COMMENT '來源IP',  
    `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時間'  
) ENGINE=INNODB  DEFAULT CHARSET=utf8  
    PARTITION BY RANGE(YEAR(create_time))  
    SUBPARTITION BY HASH(TO_DAYS(create_time))(  
    PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2),  
    PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good),  
    PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3)  
);

官方網站說不一樣分區內的子分區能夠有相同的名字，可是mysql5.1.50卻不行會提示如下錯誤。\
ERROR 1517 (HY000): Duplicate partition name s1

3、分區管理

一、刪除分區

mysql> alter table user drop partition p4;

二、新增分區

range添加新分區  

mysql> alter table user add partition(partition p4 values less than MAXVALUE);  
Query OK, 0 rows affected (0.06 sec)  
Records: 0  Duplicates: 0  Warnings: 0

list添加新分區  

mysql> alter table list_part add partition(partition p4 values in (25,26,28));  
Query OK, 0 rows affected (0.01 sec)  
Records: 0  Duplicates: 0  Warnings: 0

hash添加新分區  

mysql> alter table hash_part add partition partitions 4;  
Query OK, 0 rows affected (0.12 sec)  
Records: 0  Duplicates: 0  Warnings: 0

key添加新分區  

mysql> alter table key_part add partition partitions 4;  
Query OK, 1 row affected (0.06 sec)    //有數據也會被從新分配  
Records: 1  Duplicates: 0  Warnings: 0

子分區添加新分區，雖然我沒有指定子分區，可是系統會給子分區命名的  

mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE);  
Query OK, 0 rows affected (0.02 sec)  
Records: 0  Duplicates: 0  Warnings: 0

mysql> show create table sub1_part\G;  
*************************** 1. row ***************************  
Table: sub1_part  
create Table: CREATE TABLE `sub1_part` (  
    `news_id` int(11) NOT NULL COMMENT '新聞ID',  
    `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容',  
    `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP',  
    `create_time` date NOT NULL DEFAULT '0000-00-00' COMMENT '時間'  
) ENGINE=InnoDB DEFAULT CHARSET=utf8  
    !50100 PARTITION BY RANGE (YEAR(create_time))  
    SUBPARTITION BY HASH (TO_DAYS(create_time))  
    (PARTITION p0 VALUES LESS THAN (1990)  
    (SUBPARTITION s0 ENGINE = InnoDB,  
    SUBPARTITION s1 ENGINE = InnoDB,  
    SUBPARTITION s2 ENGINE = InnoDB),  
    PARTITION p1 VALUES LESS THAN (2000)  
    (SUBPARTITION s3 ENGINE = InnoDB,  
    SUBPARTITION s4 ENGINE = InnoDB,  
    SUBPARTITION good ENGINE = InnoDB),  
    PARTITION p2 VALUES LESS THAN (3000)  
    (SUBPARTITION tank0 ENGINE = InnoDB,  
    SUBPARTITION tank1 ENGINE = InnoDB,  
    SUBPARTITION tank3 ENGINE = InnoDB),  
    PARTITION p3 VALUES LESS THAN MAXVALUE  
    (SUBPARTITION p3sp0 ENGINE = InnoDB,    //子分區的名子是自動生成的  
    SUBPARTITION p3sp1 ENGINE = InnoDB,  
    SUBPARTITION p3sp2 ENGINE = InnoDB))

三、從新分區

range從新分區  

mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE);  
Query OK, 11 rows affected (0.08 sec)  
Records: 11  Duplicates: 0  Warnings: 0

list從新分區  

mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5));  
Query OK, 0 rows affected (0.28 sec)  
Records: 0  Duplicates: 0  Warnings: 0

hash和key分區不能用REORGANIZE，官方網站說的很清楚  

mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9;  
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1

4、分區優勢

分區能夠分在多個磁盤，存儲更大一點;

根據查找條件，也就是where後面的條件，查找只查找相應的分區不用所有查找了;

進行大數據搜索時能夠進行並行處理;

跨多個磁盤來分散數據查詢，來得到更大的查詢吞吐量。

5、分區注意

要5.5 以上版本分區才支持 varchar，但是試到 5.6 都一直報錯： "VALUES value for partition 'P_XX' must have type INT";

LIST COLUMNS才支持varchar類型的分區字段; \

mysql 官方文檔 http://dev.mysql.com/tech-res... \
譯文：\
The intuitive part: partition by non-integer columns;sql

任何使用過度區的人應該都遇到過很多問題，特別是面對非整數列分區時，MySQL5.1只能處理整數列分區，若是你想在日期或字符串列上進行分區，你不得不使用YEAR或TO_DAYS對其進行轉換;

MySQL 5.5中新增了兩類分區方法，RANG和LIST分區法，同時在新的函數中增長了一個COLUMNS關鍵詞。++

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。