【推薦】mysql優化神器

前言

今天逛 github時，發現了這款對 SQL 進行優化和改寫的自動化工具 sora。感受挺不錯的，就下載學習了一下。這個工具支持的功能比較多，能夠做爲咱們平常開發中的一款輔助工具，如今我就把它推薦給大家～～～

github傳送門：https://github.com/XiaoMi/soar

背景

在咱們平常開發中，優化SQL老是咱們平常開發任務之一。例行 SQL 優化，不只能夠提高程序性能，還可以下降線上故障的機率。

目前經常使用的 SQL 優化方式包括但不限於：業務層優化、SQL邏輯優化、索引優化等。其中索引優化一般經過調整索引或新增索引從而達到 SQL 優化的目的。索引優化每每能夠在短期內產生很是巨大的效果。若是可以將索引優化轉化成工具化、標準化的流程，減小人工介入的工做量，無疑會大大提升咱們的工做效率。

SOAR(SQL Optimizer And Rewriter) 是一個對 SQL 進行優化和改寫的自動化工具。 由小米人工智能與雲平臺的數據庫團隊開發與維護。

與業內其餘優秀產品對好比下：

SOAR	sqlcheck	pt-query-advisor	SQL Advisor	Inception	sqlautoreview
啓發式建議	✔️	✔️	✔️	❌	✔️	✔️
索引建議	✔️	❌	❌	✔️	❌	✔️
查詢重寫	✔️	❌	❌	❌	❌	❌
執行計劃展現	✔️	❌	❌	❌	❌	❌
Profiling	✔️	❌	❌	❌	❌	❌
Trace	✔️	❌	❌	❌	❌	❌
SQL在線執行	❌	❌	❌	❌	✔️	❌
數據備份	❌	❌	❌	❌	✔️	❌

從上圖能夠看出，支持的功能豐富，其功能特色以下：

• 跨平臺支持（支持 Linux, Mac 環境，Windows 環境理論上也支持，不過未全面測試）
• 目前只支持 MySQL 語法族協議的 SQL 優化
• 支持基於啓發式算法的語句優化
• 支持複雜查詢的多列索引優化（UPDATE, INSERT, DELETE, SELECT）
• 支持 EXPLAIN 信息豐富解讀
• 支持 SQL 指紋、壓縮和美化
• 支持同一張表多條 ALTER 請求合併
• 支持自定義規則的 SQL 改寫

就介紹這麼多吧，既然是SQL優化工具，光說是沒有用的，咱們仍是先用起來看看效果吧。

安裝

這裏有兩種安裝方式，以下：

• 1. 下載二進制安裝包

$ wget https://github.com/XiaoMi/soar/releases/download/0.11.0/soar.linux-amd64 -O soar
chmod a+x soar

這裏建議直接下載最新版，要不會有bug。

下載好的二進制文件添加到環境變量中便可(不會的谷歌一下吧，這裏就不講了)。

測試一下：

$ echo 'select * from user' | soar.darwin-amd64(根據你本身的二進制文件名來輸入)
# Query: AC4262B5AF150CB5

★ ★ ★ ☆ ☆ 75分

​```sql

SELECT
  *
FROM
  USER
​```

## 最外層 SELECT 未指定 WHERE 條件

* **Item:**  CLA.001

* **Severity:**  L4

* **Content:**  SELECT 語句沒有 WHERE 子句，可能檢查比預期更多的行(全表掃描)。對於 SELECT COUNT(\*) 類型的請求若是不要求精度，建議使用 SHOW TABLE STATUS 或 EXPLAIN 替代。

## 不建議使用 SELECT * 類型查詢

* **Item:**  COL.001

* **Severity:**  L1

* **Content:**  當表結構變動時，使用 \* 通配符選擇全部列將致使查詢的含義和行爲會發生更改，可能致使查詢返回更多的數據。

• 1. 源碼安裝

依賴環境：

1. Go 1.10+
2. git

高級依賴（僅面向開發人員）

• mysql 客戶端版本須要與容器中MySQL版本相同，避免出現因爲認證緣由致使沒法鏈接問題
• docker MySQL Server測試容器管理
• govendor Go包管理
• retool 依賴外部代碼質量靜態檢查工具二進制文件管理

生成二進制文件：

go get -d github.com/XiaoMi/soar
cd ${GOPATH}/src/github.com/XiaoMi/soar && make

生成的二進制文件與上面同樣，直接放入環境變量便可，這裏我沒有嘗試，靠大家本身踩坑了呦～～～

簡單使用

0. 前置準備

準備一個table，以下：

CREATE TABLE `users` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `username` varchar(64) NOT NULL DEFAULT '',
  `nickname` varchar(255) DEFAULT '',
  `password` varchar(256) NOT NULL DEFAULT '',
  `salt` varchar(48) NOT NULL DEFAULT '',
  `avatar` varchar(128) DEFAULT NULL,
  `uptime` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `username` (`username`)
) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8mb4

1. 直接輸入sql語句(不運行)

$ echo "select * from users" | soar.darwin-amd64
$ # Query: 30AFCB1E1344BEBD

★ ★ ★ ☆ ☆ 75分

​```sql

SELECT
  *
FROM
  users
​```

## 最外層 SELECT 未指定 WHERE 條件

* **Item:**  CLA.001

* **Severity:**  L4

* **Content:**  SELECT 語句沒有 WHERE 子句，可能檢查比預期更多的行(全表掃描)。對於 SELECT COUNT(\*) 類型的請求若是不要求精度，建議使用 SHOW TABLE STATUS 或 EXPLAIN 替代。

## 不建議使用 SELECT * 類型查詢

* **Item:**  COL.001

* **Severity:**  L1

* **Content:**  當表結構變動時，使用 \* 通配符選擇全部列將致使查詢的含義和行爲會發生更改，可能致使查詢返回更多的數據。

如今是徹底根據SQL語句進行分析的，由於沒有鏈接到mysql。能夠看到，給出的報告也很詳細，可是隻是空殼子，僅憑SQL語句給出的分析並非準確的，因此咱們開始接下來的應用。

2. 鏈接mysql生成EXPLAIN分析報告

咱們能夠在配置文件中配置好mysql相關的配置，操做以下：

vi soar.yaml
# yaml format config file
online-dsn:
    addr:     127.0.0.1:3306
    schema:   asong
    user:     root
    password: root1997
    disable:  false

test-dsn:
    addr:     127.0.0.1:3306
    schema:   asong
    user:     root
    password: root1997
    disable:  false

配置好了，咱們來實踐一會兒吧：

$ echo "SELECT id,username,nickname,password,salt,avatar,uptime FROM users WHERE username = 'asong1111'" | soar.darwin-amd64 -test-dsn="root:root1997@127.0.0.1:3306/asong" -allow-online-as-test -log-output=soar.log
$ # Query: D12A420193AD1674

★ ★ ★ ★ ★ 100分

​```sql

SELECT
  id, username, nickname, PASSWORD, salt, avatar, uptime
FROM
  users
WHERE
  username  = 'asong1111'
​```

##  Explain信息

| id | select\_type | table | partitions | type | possible_keys | key | key\_len | ref | rows | filtered | scalability | Extra |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1  | SIMPLE | *users* | NULL | const | username | username | 258 | const | 1 | ☠️ **100.00%** | ☠️ **O(n)** | NULL |



### Explain信息解讀

#### SelectType信息解讀

* **SIMPLE**: 簡單SELECT(不使用UNION或子查詢等).

#### Type信息解讀

* **const**: const用於使用常數值比較PRIMARY KEY時, 當查詢的表僅有一行時, 使用system. 例:SELECT * FROM tbl WHERE col = 1.

這回結果中多了EXPLAIN信息分析報告。這對於剛開始入門的小夥伴們是友好的，由於咱們對Explain解析的字段並不熟悉，有了它咱們能夠完美的分析SQL中的問題，是否是很棒。

3. 語法檢查

soar工具不只僅能夠進行sql語句分析，還能夠進行對sql語法進行檢查，找出其中的問題，來看個例子：

$ echo "selec * from users" | soar.darwin-amd64 -only-syntax-check
At SQL 1 : line 1 column 5 near "selec * from users" (total length 18)

這裏select關鍵字少了一個t，運行該指令幫助咱們一下就定位了問題，當咱們的sql語句很長時，就可使用該指令來輔助咱們檢查SQL語句是否正確。

4. SQL美化

咱們平常開發時，常常會看其餘人寫的代碼，由於水平不同，因此有些SQL語句會寫的很亂，因此這個工具就派上用場了，咱們能夠把咱們的SQL語句變得漂亮一些，更容易咱們理解哦。

$ echo "SELECT id,username,nickname,password,salt,avatar,uptime FROM users WHERE username = 'asong1111'" | soar.darwin-amd64 -report-type=pretty

SELECT
  id, username, nickname, PASSWORD, salt, avatar, uptime
FROM
  users
WHERE
  username  = 'asong1111';

這樣看起來是否是更直觀了呢～～。

結尾

由於我也纔是剛使用這個工具，更多的玩法我尚未發現，之後補充。更多玩法能夠本身研究一下，github傳送門：https://github.com/XiaoMi/soar。官方文檔其實很粗糙，更多方法解鎖還要靠本身研究，畢竟源碼已經給咱們了，對於學習go也有必定幫助，看成一個小項目慢慢優化豈不是更好呢～～。

好啦，這一篇文章到這就結束了，咱們下期見～～。但願對大家有用，又不對的地方歡迎指出，可添加個人golang交流羣，咱們一塊兒學習交流。

結尾給你們發一個小福利吧，最近我在看[微服務架構設計模式]這一本書，講的很好，本身也收集了一本PDF，有須要的小夥能夠到自行下載。獲取方式：關注公衆號：[Golang夢工廠]，後臺回覆：[微服務]，便可獲取。

我翻譯了一份GIN中文文檔，會按期進行維護，有須要的小夥伴後臺回覆[gin]便可下載。

翻譯了一份Machinery中文文檔，會按期進行維護，有須要的小夥伴們後臺回覆[machinery]便可獲取。

我是asong，一名普普統統的程序猿，讓gi我一塊兒慢慢變強吧。我本身建了一個golang交流羣，有須要的小夥伴加我vx,我拉你入羣。歡迎各位的關注，咱們下期見~~~

推薦往期文章：

• machinery-go異步任務隊列
• 十張動圖帶你搞懂排序算法(附go實現代碼)
• Go語言相關書籍推薦（從入門到放棄）
• go參數傳遞類型
• 手把手教姐姐寫消息隊列
• 常見面試題之緩存雪崩、緩存穿透、緩存擊穿
• 詳解Context包，看這一篇就夠了！！！
• go-ElasticSearch入門看這一篇就夠了(一)
• 面試官：go中for-range使用過嗎？這幾個問題你能解釋一下緣由嗎
• 學會wire依賴注入、cron定時任務其實就這麼簡單！
• 據說你還不會jwt和swagger-飯我都不吃了帶着實踐項目我就來了
• 掌握這些Go語言特性，你的水平將提升N個檔次(二)