一,什麼是數據庫分區 javascript
前段時間寫過一篇關於mysql分表的的文章,下面來講一下什麼是數據庫分區,以mysql爲例。mysql數據庫中的數據是以文件的形勢存在磁盤上的,默認放在/mysql/data下面(能夠經過my.cnf中的datadir來查看),一張表主要對應着三個文件,一個是frm存放表結構的,一個是myd存放表數據的,一個是myi存表索引的。若是一張表的數據量太大的話,那麼myd,myi就會變的很大,查找數據就會變的很慢,這個時候咱們能夠利用mysql的分區功能,在物理上將這一張表對應的三個文件,分割成許多個小塊,這樣呢,咱們查找一條數據時,就不用所有查找了,只要知道這條數據在哪一塊,而後在那一塊找就好了。若是表的數據太大,可能一個磁盤放不下,這個時候,咱們能夠把數據分配到不一樣的磁盤裏面去。
分區的二種方式 php
1,橫向分區 html
什麼是橫向分區呢?就是橫着來分區了,舉例來講明一下,假若有100W條數據,分紅十份,前10W條數據放到第一個分區,第二個10W條數據放到第二個分區,依此類推。也就是把表分紅了十分,根用merge來分表,有點像哦。取出一條數據的時候,這條數據包含了表結構中的全部字段,也就是說橫向分區,並無改變表的結構。 java
2,縱向分區 mysql
什麼是縱向分區呢?就是豎來分區了,舉例來講明,在設計用戶表的時候,開始的時候沒有考慮好,而把我的的全部信息都放到了一張表裏面去,這樣這個表裏面就會有比較大的字段,如我的簡介,而這些簡介呢,也許不會有好多人去看,因此等到有人要看的時候,在去查找,分表的時候,能夠把這樣的大字段,分開來。 算法
感受數據庫的分區好像是切蘋果,究竟是橫着切呢,仍是豎着切,根據我的喜愛了,mysql提供的分區屬於第一種,橫向分區,而且細分紅不少種方式。下面將舉例說明一下。 sql
二,mysql的分區 數據庫
我覺着吧,mysql的分區只有一種方式,只不過運用不一樣的算法,規則將數據分配到不一樣的區塊中而已。 服務器
1,mysql5.1及以上支持分區功能 less
安裝安裝的時候,咱們就能夠查看一下
[root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition === Partition Support === Plugin Name: partition Description: MySQL Partitioning Support Supports build: static Configurations: max, max-no-ndb
查看一下,若是發現有上面這個東西,說明他是支持分區的,默認是打開的。若是你已經安裝過了mysql的話
mysql> show variables like "%part%"; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | have_partitioning | YES | +-------------------+-------+ 1 row in set (0.00 sec)
查看一下變量,若是支持的話,會有上面的提示的。
2,range分區
按照RANGE分區的表是經過以下一種方式進行分區的,每一個分區包含那些分區表達式的值位於一個給定的連續區間內的行
//建立range分區表 mysql> CREATE TABLE IF NOT EXISTS `user` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0爲男,1爲女', -> PRIMARY KEY (`id`) -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY RANGE (id) ( -> PARTITION p0 VALUES LESS THAN (3), -> PARTITION p1 VALUES LESS THAN (6), -> PARTITION p2 VALUES LESS THAN (9), -> PARTITION p3 VALUES LESS THAN (12), -> PARTITION p4 VALUES LESS THAN MAXVALUE -> ); Query OK, 0 rows affected (0.13 sec) //插入一些數據 mysql> INSERT INTO `test`.`user` (`name` ,`sex`)VALUES ('tank', '0') -> ,('zhang',1),('ying',1),('張',1),('映',0),('test1',1),('tank2',1) -> ,('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1) -> ,('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1) -> ,('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1); Query OK, 25 rows affected (0.05 sec) Records: 25 Duplicates: 0 Warnings: 0 //到存放數據庫表文件的地方看一下,my.cnf裏面有配置,datadir後面就是 [root@BlackGhost test]# ls |grep user |xargs du -sh 4.0K user#P#p0.MYD 4.0K user#P#p0.MYI 4.0K user#P#p1.MYD 4.0K user#P#p1.MYI 4.0K user#P#p2.MYD 4.0K user#P#p2.MYI 4.0K user#P#p3.MYD 4.0K user#P#p3.MYI 4.0K user#P#p4.MYD 4.0K user#P#p4.MYI 12K user.frm 4.0K user.par //取出數據 mysql> select count(id) as count from user; +-------+ | count | +-------+ | 25 | +-------+ 1 row in set (0.00 sec) //刪除第四個分區 mysql> alter table user drop partition p4; Query OK, 0 rows affected (0.11 sec) Records: 0 Duplicates: 0 Warnings: 0 /**存放在分區裏面的數據丟失了,第四個分區裏面有14條數據,剩下的3個分區 只有11條數據,可是統計出來的文件大小都是4.0K,從這兒咱們能夠看出分區的 最小區塊是4K */ mysql> select count(id) as count from user; +-------+ | count | +-------+ | 11 | +-------+ 1 row in set (0.00 sec) //第四個區塊已刪除 [root@BlackGhost test]# ls |grep user |xargs du -sh 4.0K user#P#p0.MYD 4.0K user#P#p0.MYI 4.0K user#P#p1.MYD 4.0K user#P#p1.MYI 4.0K user#P#p2.MYD 4.0K user#P#p2.MYI 4.0K user#P#p3.MYD 4.0K user#P#p3.MYI 12K user.frm 4.0K user.par /*能夠對現有表進行分區,而且會按規則自動的將表中的數據分配相應的分區 中,這樣就比較好了,能夠省去不少事情,看下面的操做*/ mysql> alter table aa partition by RANGE(id) -> (PARTITION p1 VALUES less than (1), -> PARTITION p2 VALUES less than (5), -> PARTITION p3 VALUES less than MAXVALUE); Query OK, 15 rows affected (0.21 sec) //對15數據進行分區 Records: 15 Duplicates: 0 Warnings: 0 //總共有15條 mysql> select count(*) from aa; +----------+ | count(*) | +----------+ | 15 | +----------+ 1 row in set (0.00 sec) //刪除一個分區 mysql> alter table aa drop partition p2; Query OK, 0 rows affected (0.30 sec) Records: 0 Duplicates: 0 Warnings: 0 //只有11條了,說明對現有的表分區成功了 mysql> select count(*) from aa; +----------+ | count(*) | +----------+ | 11 | +----------+ 1 row in set (0.00 sec)
3,list分區
LIST分區中每一個分區的定義和選擇是基於某列的值從屬於一個值列表集中的一個值,而RANGE分 區是從屬於一個連續區間值的集合。
//這種方式失敗 mysql> CREATE TABLE IF NOT EXISTS `list_part` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID', -> `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0爲男,1爲女', -> PRIMARY KEY (`id`) -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY LIST (province_id) ( -> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8), -> PARTITION p1 VALUES IN (9,10,11,12,16,21), -> PARTITION p2 VALUES IN (13,14,15,19), -> PARTITION p3 VALUES IN (17,18,20,22,23,24) -> ); ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function //這種方式成功 mysql> CREATE TABLE IF NOT EXISTS `list_part` ( -> `id` int(11) NOT NULL COMMENT '用戶ID', -> `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0爲男,1爲女' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY LIST (province_id) ( -> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8), -> PARTITION p1 VALUES IN (9,10,11,12,16,21), -> PARTITION p2 VALUES IN (13,14,15,19), -> PARTITION p3 VALUES IN (17,18,20,22,23,24) -> ); Query OK, 0 rows affected (0.33 sec)
上面的這個建立list分區時,若是有主銉的話,分區時主鍵必須在其中,否則就會報錯。若是我不用主鍵,分區就建立成功了,通常狀況下,一個張表確定會有一個主鍵,這算是一個分區的侷限性吧。
若是對數據進行測試,請參考range分區的測試來操做
4,hash分區
HASH分區主要用來確保數據在預先肯定數目的分區中平均分佈,你所要作的只是基於將要被哈希的列值指定一個列值或表達式,以 及指定被分區的表將要被分割成的分區數量。
mysql> CREATE TABLE IF NOT EXISTS `hash_part` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '評論ID', -> `comment` varchar(1000) NOT NULL DEFAULT '' COMMENT '評論', -> `ip` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP', -> PRIMARY KEY (`id`) -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY HASH(id) -> PARTITIONS 3; Query OK, 0 rows affected (0.06 sec)
測試請參考range分區的操做
5,key分區
按照KEY進行分區相似於按照HASH分區,除了HASH分區使用的用 戶定義的表達式,而KEY分區的 哈希函數是由MySQL 服務器提供。
mysql> CREATE TABLE IF NOT EXISTS `key_part` ( -> `news_id` int(11) NOT NULL COMMENT '新聞ID', -> `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容', -> `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP', -> `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時間' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY LINEAR HASH(YEAR(create_time)) -> PARTITIONS 3; Query OK, 0 rows affected (0.07 sec)
測試請參考range分區的操做
6,子分區
子分區是分區表中每一個分區的再次分割,子分區既可使用HASH希分區,也可使用KEY分區。這 也被稱爲複合分區(composite partitioning)。
1,若是一個分區中建立了子分區,其餘分區也要有子分區
2,若是建立了了分區,每一個分區中的子分區數必有相同
3,同一分區內的子分區,名字不相同,不一樣分區內的子分區名子能夠相同(5.1.50不適用)
mysql> CREATE TABLE IF NOT EXISTS `sub_part` ( -> `news_id` int(11) NOT NULL COMMENT '新聞ID', -> `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容', -> `u_id` int(11) NOT NULL DEFAULT 0s COMMENT '來源IP', -> `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時間' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY RANGE(YEAR(create_time)) -> SUBPARTITION BY HASH(TO_DAYS(create_time))( -> PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2), -> PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good), -> PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3) -> ); Query OK, 0 rows affected (0.07 sec)
官方網站說不一樣分區內的子分區能夠有相同的名字,可是mysql5.1.50卻不行會提示如下錯誤
ERROR 1517 (HY000): Duplicate partition name s1
三,分區管理
1,刪除分區
mysql> alter table user drop partition p4;
2,新增分區
//range添加新分區 mysql> alter table user add partition(partition p4 values less than MAXVALUE); Query OK, 0 rows affected (0.06 sec) Records: 0 Duplicates: 0 Warnings: 0 //list添加新分區 mysql> alter table list_part add partition(partition p4 values in (25,26,28)); Query OK, 0 rows affected (0.01 sec) Records: 0 Duplicates: 0 Warnings: 0 //hash從新分區 mysql> alter table hash_part add partition partitions 4; Query OK, 0 rows affected (0.12 sec) Records: 0 Duplicates: 0 Warnings: 0 //key從新分區 mysql> alter table key_part add partition partitions 4; Query OK, 1 row affected (0.06 sec) //有數據也會被從新分配 Records: 1 Duplicates: 0 Warnings: 0 //子分區添加新分區,雖然我沒有指定子分區,可是系統會給子分區命名的 mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE); Query OK, 0 rows affected (0.02 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> show create table sub1_part\G; *************************** 1. row *************************** Table: sub1_part Create Table: CREATE TABLE `sub1_part` ( `news_id` int(11) NOT NULL COMMENT '新聞ID', `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容', `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP', `create_time` date NOT NULL DEFAULT '0000-00-00' COMMENT '時間' ) ENGINE=InnoDB DEFAULT CHARSET=utf8 !50100 PARTITION BY RANGE (YEAR(create_time)) SUBPARTITION BY HASH (TO_DAYS(create_time)) (PARTITION p0 VALUES LESS THAN (1990) (SUBPARTITION s0 ENGINE = InnoDB, SUBPARTITION s1 ENGINE = InnoDB, SUBPARTITION s2 ENGINE = InnoDB), PARTITION p1 VALUES LESS THAN (2000) (SUBPARTITION s3 ENGINE = InnoDB, SUBPARTITION s4 ENGINE = InnoDB, SUBPARTITION good ENGINE = InnoDB), PARTITION p2 VALUES LESS THAN (3000) (SUBPARTITION tank0 ENGINE = InnoDB, SUBPARTITION tank1 ENGINE = InnoDB, SUBPARTITION tank3 ENGINE = InnoDB), PARTITION p3 VALUES LESS THAN MAXVALUE (SUBPARTITION p3sp0 ENGINE = InnoDB, //子分區的名子是自動生成的 SUBPARTITION p3sp1 ENGINE = InnoDB, SUBPARTITION p3sp2 ENGINE = InnoDB)) 1 row in set (0.00 sec)
3,從新分區
//range從新分區 mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE); Query OK, 11 rows affected (0.08 sec) Records: 11 Duplicates: 0 Warnings: 0 //list從新分區 mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5)); Query OK, 0 rows affected (0.28 sec) Records: 0 Duplicates: 0 Warnings: 0 //hash和key分區不能用REORGANIZE,官方網站說的很清楚 mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9; ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1
四,分區優勢
1,分區能夠分在多個磁盤,存儲更大一點
2,根據查找條件,也就是where後面的條件,查找只查找相應的分區不用所有查找了
3,進行大數據搜索時能夠進行並行處理。
4,跨多個磁盤來分散數據查詢,來得到更大的查詢吞吐量
轉載請註明