技術分享 | MySQL 大對象一例

做者：楊濤濤
資深數據庫專家，專研 MySQL 十餘年。擅長 MySQL、PostgreSQL、MongoDB 等開源數據庫相關的備份恢復、SQL 調優、監控運維、高可用架構設計等。目前任職於愛可生，爲各大運營商及銀行金融企業提供 MySQL 相關技術支持、MySQL 相關課程培訓等工做。
本文來源：原創投稿
*愛可生開源社區出品，原創內容未經受權不得隨意使用，轉載請聯繫小編並註明來源。

---

背景

MySQL 一直以來都有 TEXT、BLOB 等類型用來存儲圖片、視頻等大對象信息。好比一張圖片，隨便一張都 5M 以上。視頻也是，隨便一部視頻就是 2G 以上。

假設用 MySQL 來存放電影視頻等信息，一部是 2G，那麼存儲 1000 部就是 2TB，2TB 也就是 1000 條記錄而已，可是對數據庫性能來講，不單單是看記錄數量，更主要的還得看佔用磁盤空間大小。空間大了，全部之前的經驗啥的都失效了。

因此通常來講存放這類信息，也就是存儲他們的存放路徑，至於文件自己存放在哪裏，那這就不是數據庫考慮的範疇了。數據庫只關心怎麼來的快，怎麼來的小。

舉例

雖然不推薦 MySQL 這樣作，可是也得知道 MySQL 該怎麼作才行，作到內心有數。好比下面一張微信圖片，大概 5M 的樣子。

root@ytt:/var/lib/mysql-files# ls -sihl 微信圖片_20190711095019.jpg
274501 5.4M -rw-r--r-- 1 root root 5.4M Jul 11 07:17 微信圖片_20190711095019.jpg

拷貝 100 份這樣的圖片來測試

root@ytt:/var/lib/mysql-files# for i in `seq 1 100`; do cp 微信圖片_20190711095019.jpg "$i".jpg;done;

root@ytt:/var/lib/mysql-files# ls
100.jpg   17.jpg  25.jpg  33.jpg  41.jpg  4.jpg   58.jpg  66.jpg  74.jpg  82.jpg  90.jpg  99.jpg  f8.tsv
10.jpg    18.jpg  26.jpg  34.jpg  42.jpg  50.jpg  59.jpg  67.jpg  75.jpg  83.jpg  91.jpg  9.jpg   微信圖片_20190711095019.jpg
1111.jpg  19.jpg  27.jpg  35.jpg  43.jpg  51.jpg  5.jpg   68.jpg  76.jpg  84.jpg  92.jpg  f1.tsv
11.jpg    1.jpg   28.jpg  36.jpg  44.jpg  52.jpg  60.jpg  69.jpg  77.jpg  85.jpg  93.jpg  f2.tsv
12.jpg    20.jpg  29.jpg  37.jpg  45.jpg  53.jpg  61.jpg  6.jpg   78.jpg  86.jpg  94.jpg  f3.tsv
13.jpg    21.jpg  2.jpg   38.jpg  46.jpg  54.jpg  62.jpg  70.jpg  79.jpg  87.jpg  95.jpg  f4.tsv
14.jpg    22.jpg  30.jpg  39.jpg  47.jpg  55.jpg  63.jpg  71.jpg  7.jpg   88.jpg  96.jpg  f5.tsv
15.jpg    23.jpg  31.jpg  3.jpg   48.jpg  56.jpg  64.jpg  72.jpg  80.jpg  89.jpg  97.jpg  f6.tsv
16.jpg    24.jpg  32.jpg  40.jpg  49.jpg  57.jpg  65.jpg  73.jpg  81.jpg  8.jpg   98.jpg  f7.tsv

咱們建三張表，分別用 LONGBLOB、LONGTEXT 和 VARCHAR 來存儲這些圖片信息

mysql> show create table tt_image1\G
*************************** 1. row ***************************
       Table: tt_image1
Create Table: CREATE TABLE `tt_image1` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `image_file` longblob,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)


mysql> show create table tt_image2\G
*************************** 1. row ***************************
       Table: tt_image2
Create Table: CREATE TABLE `tt_image2` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `image_file` longtext,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)


mysql> show create table tt_image3\G
*************************** 1. row ***************************
       Table: tt_image3
Create Table: CREATE TABLE `tt_image3` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `image_file` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)

咱們來給三張表插入 100 張圖片（插入前，建議把 max_allowed_packet 設置到最大）

tt_image1
root@ytt:/var/lib/mysql-files# for i in `seq 1 100`; \
do mysql -S /var/run/mysqld/mysqld.sock -e "insert into ytt.tt_image1(image_file)  \
values (load_file('/var/lib/mysql-files/$i.jpg'))";done;


tt_image2
root@ytt:/var/lib/mysql-files# for i in `seq 1 100`; \
do mysql -S /var/run/mysqld/mysqld.sock -e "insert into ytt.tt_image2(image_file)  \
values (hex(load_file('/var/lib/mysql-files/$i.jpg')))";done;


tt_image3
root@ytt:/var/lib/mysql-files# aa='begin;';for i in `seq 1 100`; \
do aa=$aa"insert into ytt.tt_image3(image_file) values  \
('/var/lib/mysql-files/$i.jpg');"; \
done;aa=$aa'commit;';mysql -S /var/run/mysqld/mysqld.sock -e "`echo $aa`";

檢查下三張表記錄數

mysql> select 'tt_image1' as name ,count(*) from tt_image1 union all \
select 'tt_image2',count(*) from tt_image2 union all select 'tt_image3', count(*) from tt_image3;
+-----------+----------+
| name      | count(*) |
+-----------+----------+
| tt_image1 |      100 |
| tt_image2 |      100 |
| tt_image3 |      100 |
+-----------+----------+
3 rows in set (0.00 sec)

看下文件大小，能夠看到實際大小排名，LONGTEXT 字段存儲的最大，LONGBLOB 字段縮小到一半，最小的是存儲圖片路徑的表 tt_image3。因此這裏從存儲空間來看，存放路徑最佔優點。

root@ytt:/var/lib/mysql/ytt# ls -silhS tt_image*
274603 1.1G -rw-r----- 1 mysql mysql 1.1G Jul 11 07:27 tt_image2.ibd
274602 545M -rw-r----- 1 mysql mysql 544M Jul 11 07:26 tt_image1.ibd
274605  80K -rw-r----- 1 mysql mysql 112K Jul 11 07:27 tt_image3.ibd

那麼怎麼把圖片取出來呢？

tt_image3 確定是最容易的

mysql> select * from tt_image3;
+----+----------------------------+
| id | image_file                 |
+----+----------------------------+
|  1 | /var/lib/mysql-files/1.jpg |
+----+----------------------------+
...
100 rows in set (0.00 sec)

tt_image1 直接導出來二進制文件便可，下面我寫了個存儲過程，導出全部圖片。

mysql> DELIMITER $$
mysql> USE `ytt`$$
mysql> DROP PROCEDURE IF EXISTS `sp_get_image`$$
mysql> CREATE DEFINER=`ytt`@`localhost` PROCEDURE `sp_get_image`()
mysql> BEGIN
      DECLARE i,cnt INT DEFAULT 0;
      SELECT COUNT(*) FROM tt_image1 WHERE 1 INTO cnt;
      WHILE i < cnt DO
        SET @stmt = CONCAT('select image_file from tt_image1  limit ',i,',1 into dumpfile ''/var/lib/mysql-files/image',i,'.jpg''');
        PREPARE s1 FROM @stmt;
        EXECUTE s1;
        DROP PREPARE s1;
      SET i = i + 1;
      END WHILE;
      END$$
mysql> DELIMITER ;
mysql> call sp_get_image;

tt_image2 相似，把 select 語句裏 image_file 變爲 unhex(image_file) 便可。

總結

這裏我舉了個用 MySQL 來存放圖片的例子，總的來講有如下三點：

1. 佔用磁盤空間大（這樣會帶來各類各樣的功能與性能問題，好比備份，寫入，讀取操做等）
2. 使用不易
3. 仍是推薦用文件路徑來代替實際的文件內容存放