percona-toolkit工具的使用

percona-toolkit是一組高級命令行工具的集合，能夠查看當前服務的摘要信息，磁盤檢測，分析慢查詢日誌，查找重複索引，實現表同步等等

percona-toolkit 源自 Maatkit 和 Aspersa 工具，這兩個工具是管理 mysql 的最有名的 工具，如今 Maatkit 工具已經不維護了，請你們仍是使用 percona-toolkit 吧！這些 工具主要包括開發、性能、配置、監控、複製、系統、實用六大類，做爲一個優秀 的 DBA，裏面有的工具很是有用，若是能掌握並加以靈活應用，將能極大的提升工 做效率。

一、安裝

需求

 * Perl v5.8 or newer
 * Bash v3 or newer
 * Core Perl modules like Time::HiRes

yum -y install  perl-DBI  perl-DBD-MySQL  perl-TermReadKey perl-devel perl-Time-HiRes
cd /usr/local/src/
wget https://www.percona.com/downloads/percona-toolkit/2.2.15/deb/percona-toolkit_2.2.15-2.tar.gz
tar -zxf percona-toolkit_2.2.15-2.tar.gz
cd percona-toolkit-2.2.15/
chmod +x Makefile.PL
perl Makefile.PL
make && make install
ln -s /usr/bin  /usr/local/bin/*

 

二、介紹

1）pt-duplicate-key-checker

功能爲從 mysql 表中找出重複的索引和外鍵，這個工具會將重複的索引和外鍵都列出來，並生成了刪除重複索引的語句，很是方便

pt-duplicate-key-checker --h localhost --u root --p 123456 -d test

2）pt-online-schema-change

功能爲在 alter 操做更改表結構的時候不用鎖定表，也就是說執行 alter 的時候不會阻塞寫和讀取操做，注意執行這個工具的時候必須 作好備份

官方文檔 http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-ch ange.html

工做原理是建立一個和你要執行 alter 操做的表同樣的空表結構，執 行表結構修改，而後從原表中 copy 原始數據到表結構修改後的表， 當數據 copy 完成之後就會將原表移走，用新表代替原表，默認動做 是將原表 drop 掉。在 copy 數據的過程當中，任何在原表的更新操做都 會更新到新表，由於這個工具在會在原表上建立觸發器，觸發器會將 在原表上更新的內容更新到新表。若是表中已經定義了觸發器這個工 具就不能工做了。

pt-online-schema-change --lock-wait-time=120 --alter="ENGINE=InnoDB" D=database,t=table --execute
pt-online-schema-change --lock-wait-time=120 --alter="ADD COLUMN domain_id INT"D=database,t=table --execute

3）pt-query-advisor

根據一些規則分析查詢語句，對可能的問題提出建議

pt-query-advisor /path/to/slow-query.log
pt-query-advisor --type genlog mysql.log
pt-query-digest --type tcpdump.txt --print --no-report | pt-query-advisor
pt-query-advisor --query "select * from test"
pt-query-advisor /path/to/general.log
pt-query-advisor /path/to/localhost-slow.log

4）pt-show-grants

規範化和打印 mysql 權限，讓你在複製、比較 mysql 權限以及進行版 本控制的時候更有效率

pt-show-grants --h localhost --u root --p 123456
pt-show-grants --h localhost --u root --p 123456 -d test
pt-show-grants --h localhost --u root --p 123456 -d test --revoke

5）pt-upgrade

在多臺服務器上執行查詢，並比較有什麼不一樣！這在升級服務器的時 候很是有用，能夠先安裝並導數據到新的服務器上，而後使用這個工 具跑一下 sql 看看有什麼不一樣，能夠找出不一樣版本之間的差別

6）pt-index-usage

從 log 文件中讀取查詢語句，並用 explain 分析他們是如何利用索引。 完成分析以後會生成一份關於索引沒有被查詢使用過的報告

pt-index-usage /path/to/slow.log --h localhost --u root --p 123456 -d test --no-report --create-save-results-database

7）pt-pmp

爲查詢程序執行聚合的 GDB 堆棧跟蹤，先進性堆棧跟蹤，而後將跟蹤信息彙總

pt-pmp -p 21933
pt-pmp -b /usr/local/mysql/bin/mysqld_safe

8）pt-visual-explain

格式化 explain 出來的執行計劃按照 tree 方式輸出，方便閱讀

pt-visual-explain --connect aaa --h localhost --u root --p 123456 -d test
pt-visual-explain `mysql --h localhost --u root --p 123456 -d test -e "explain select testx from test where id=1"` |

九、pt-config-diff

比較 mysql 配置文件和服務器參數

pt-config-diff /usr/local/mysql/share/mysql/my-large.cnf /usr/local/mysql/share/mysql/my-medium.cnf

十、pt-mysql-summary

精細地對 mysql 的配置和 sataus 信息進行彙總，彙總後你直接看一眼 就能看明白

pt-mysql-summary  --user=root --password=sEtNcu3O9R7Dl29c --all-databases

11）pt-variable-advisor

分析 mysql 的參數變量，並對可能存在的問題提出建議

pt-variable-advisor --h localhost --u root --p 123456 

結果

# WARN delay_key_write: MyISAM index blocks are never flushed until necessary.

# WARN innodb_lock_wait_timeout: This option has an unusually long value, which can cause system overload if locks are not being released.

# NOTE innodb_max_dirty_pages_pct: The innodb_max_dirty_pages_pct is lower than the default.

# NOTE low_priority_updates: The server is running with non-default lock priority for updates.

# NOTE max_binlog_size: The max_binlog_size is smaller than the default of 1GB.

# NOTE port: The server is listening on a non-default port.

# NOTE read_buffer_size-1: The read_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# NOTE read_rnd_buffer_size-1: The read_rnd_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# CRIT slave_skip_errors: You should not set this option.

# NOTE sort_buffer_size-1: The sort_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# NOTE tx_isolation-1: This server's transaction isolation level is non-default.

# NOTE innodb_data_file_path: Auto-extending InnoDB files can consume a lot of disk space that is very difficult to reclaim later.

# WARN log_output: Directing log output to tables has a high performance impact.

12）pt-deadlock-logger

提取和記錄 mysql 死鎖的相關信息,收集和保存 mysql 上最近的死鎖信息，能夠直接打印死鎖信息和存儲 死鎖信息到數據庫中，死鎖信息包括髮生死鎖的服務器、最近發生死 鎖的時間、死鎖線程 id、死鎖的事務 id、發生死鎖時事務執行了多長 時間等等很是多的信息

13)pt-fk-error-logger

提取和記錄 mysql 外鍵錯誤信息，經過SHOW INNODB STATUS提取和保存mysql數據庫最近發生的外鍵 錯誤信息。能夠經過參數控制直接打印錯誤信息或者將錯誤信息存儲 到數據庫的表中

14）pt-mext

並行查看 SHOW GLOBAL STATUS 的多個樣本的信息，原理：pt-mext 執行你指定的 COMMAND，並每次讀取一行結果，把 空行分割的內容保存到一個一個的臨時文件中，最後結合這些臨時文 件並行查看結果

15）pt-query-digest

分析查詢執行日誌，併產生一個查詢報告，爲 MySQL、PostgreSQL、 memcached 過濾、重放或者轉換語句

16）pt-trend

居於一組時間序列的數據點作統計，讀取一個慢查詢日誌，並輸出統計信息。也能夠指定多個文件。若是 不指定文件的話直接從標準輸入中讀取信息

17）pt-heartbeat

監控 mysql 複製延遲，測量複製落後主 mysql 或者主 PostgreSQL 多少時間，你可使用這個 腳本去更新主或者監控複製

原理：pt-heartbeat 經過真實的複製數據來確認 mysql 和 postgresql 複製延遲，這個避免了對複製機制的依賴，從而能得出準確的落後復 制時間，包含兩部分：第一部分在主上 pt-heartbeat 的--update 線程 會在指定的時間間隔更新一個時間戳，第二部分是 pt-heartbeat 的 --monitor 線程或者--check 線程鏈接到從上檢查複製的心跳記錄（前 面更新的時間戳），並和當前系統時間進行比較，得出時間的差別。 你能夠手工建立 heartbeat 表或者添加--create-table 參數，推薦使用 MEMORY 引擎

18）pt-slave-delay

設置從服務器落後於主服務器指定時間

原理：經過啓動和中止複製 sql 線程來設置從落後於主指定時間。默 認是基於從上 relay 日誌的二進制日誌的位置來判斷，所以不須要連 接到主服務器，若是 IO 進程不落後主服務器太多的話，這個檢查方 式工做很好，若是網絡通暢的話，通常 IO 線程落後主一般都是毫秒 級別。通常是經過--delay and --delay"+"--interval 來控制。--interval 是 指定檢查是否啓動或者中止從上 sql 線程的頻繁度，默認的是 1 分鐘 檢查一次

19）pt-slave-find

查找和打印 mysql 全部從服務器複製層級關係

原理:鏈接 mysql 主服務器並查找其全部的從，而後打印出全部從服 務器的層級關係

20）pt-slave-restart

監視 mysql 複製錯誤，並嘗試重啓 mysql 複製當複製中止的時候，監視一個或者多個 mysql 複製錯誤，當從中止的時候嘗試從新啓動復 制。你能夠指定跳過的錯誤並運行從到指定的日誌位置

21）pt-table-checksum

檢查 mysql 複製一致性

工做原理：pt-table-checksum 在主上執行檢查語句在線檢查 mysql 復 制的一致性，生成 replace 語句，而後經過複製傳遞到從，再經過 update 更新 master_src 的值。經過檢測從上 this_src 和 master_src 的 值從而判斷複製是否一致。 注意：使用的時候選擇業務地峯的時候運行，由於運行的時候會形成 表的部分記錄鎖定。使用--max-load 來指定最大的負載狀況，若是達 到那個負載這個暫停運行。若是發現有不一致的數據，可使用 pt-table-sync 工具來修復。 注意：和 1.0 版本不一樣，新版本的 pt-table-checksum 只須要在 master 上執行便可。 經過 –explain 參數再結合二進制日誌就能夠看出腳本的工做原理， 如個人 test 庫有一個名字爲 zhang 的表，咱們經過抓取二進制日誌來 查看

22）pt-table-sync

高效同步 mysql 表的數據

原理：老是在主上執行數據的更改，再同步到從上，不會直接更改爲 從的數據，在主上執行更改是基於主上如今的數據，不會更改主上的 數據。注意使用以前先備份你的數據，避免形成數據的丟失.執行 execute 以前最好先換成--print 或--dry-run 查看一下會變動哪些數據

23）pt-diskstats

是一個對 GUN/LINUX 的交互式監控工具，爲 GUN/LINUX 打印磁盤 io 統計信息，和 iostat 有點像，可是這個工 具是交互式而且比 iostat 更詳細。能夠分析從遠程機器收集的數據

24）pt-fifo-split

模擬切割文件並經過管道傳遞給先入先出隊列而不用真正的切割文 件，pt-fifo-split 讀取大文件中的數據並打印到 fifo 文件，每次達到指定行 數就往 fifo 文件中打印一個 EOF 字符，讀取完成之後，關閉掉 fifo 文 件並移走，而後重建 fifo 文件，打印更多的行。這樣能夠保證你每次 讀取的時候都能讀取到制定的行數直到讀取完成。注意此工具只能工 做在類 unix 操做系統。這個程序對大文件的數據導入數據庫很是有 用，具體的能夠查看 http://www.mysqlperformanceblog.com/2008/07 /03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/。

25）pt-summary

友好地收集和顯示系統信息概況，此工具並非一個調優或者診斷工 具，這個工具會產生一個很容易進行比較和發送郵件的報告

原理：此工具會運行和多命令去收集系統狀態和配置信息，先保存到 臨時目錄的文件中去，而後運行一些unix命令對這些結果作格式化， 最好是用 root 用戶或者有權限的用戶運行此命令

26）pt-stalk

出現問題的時候收集 mysql 的用於診斷的數據，pt-stalk 等待觸發條件觸發，而後收集數據幫助錯誤診斷，它被設計 成使用 root 權限運行的守護進程，所以你能夠診斷那些你不能直接 觀察的間歇性問題。默認的診斷觸發條件爲 SHOW GLOBAL STATUS。 也能夠指定 processlist 爲診斷觸發條件 ，使用--function 參數指定

27）pt-archiver

將 mysql 數據庫中表的記錄歸檔到另一個表或者文件，也能夠直接 進行記錄的刪除操做

這個工具只是歸檔舊的數據，不會對線上數據的 OLTP 查詢形成太大 影響，你能夠將數據插入另一臺服務器的其餘表中，也能夠寫入到 一個文件中，方便使用 load data infile 命令導入數據。另外你還能夠 用它來執行 delete 操做。這個工具默認的會刪除源中的數據。使用 的時候請注意

28）pt-find

查找 mysql 表並執行指定的命令，和 gnu 的 find 命令相似

29）pt-kill

Kill 掉符合指定條件 mysql 語句，假如沒有指定文件的話pt-kill鏈接到mysql並經過SHOW PROCESSLIST 找到指定的語句，反之 pt-kill 從包含 SHOW PROCESSLIST 結果的文件 中讀取 mysql 語句