Mysql 運維 - JavaShuo

環境：CentOS7html

版本：java

1. 部署

本文僅介紹 rpm 安裝方式mysql

1.1. 安裝 mysql yum 源

官方下載地址：https://dev.mysql.com/downloads/repo/yum/linux

（1）下載 yum 源git

$ wget https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm複製代碼

（2）安裝 yum repo 文件並更新 yum 緩存github

$ rpm -ivh mysql80-community-release-el7-1.noarch.rpm複製代碼

執行結果：sql

會在 /etc/yum.repos.d/ 目錄下生成兩個 repo 文件數據庫

$ ls | grep mysql
mysql-community.repo
mysql-community-source.repo複製代碼

更新 yum：vim

$ yum clean all
$ yum makecache複製代碼

（3）查看 rpm 安裝狀態緩存

$ yum search mysql | grep server
mysql-community-common.i686 : MySQL database common files for server and client
mysql-community-common.x86_64 : MySQL database common files for server and
mysql-community-test.x86_64 : Test suite for the MySQL database server
                       : administering MySQL servers
mysql-community-server.x86_64 : A very fast and reliable SQL database server複製代碼

經過 yum 安裝 mysql 有幾個重要目錄：

# 配置文件
/etc/my.cnf
# 數據庫目錄
/var/lib/mysql/
# 配置文件
/usr/share/mysql（mysql.server命令及配置文件）
# 相關命令
/usr/bin（mysqladmin mysqldump等命令）
# 啓動腳本
/usr/lib/systemd/system/mysqld.service （註冊爲 systemd 服務）複製代碼

（4）安裝 mysql 服務器

$ yum install mysql-community-server複製代碼

1.2. mysql 服務管理

經過 yum 方式安裝 mysql 後，本地會有一個名爲 mysqld 的 systemd 服務。

其服務管理十分簡便：

# 查看狀態
systemctl status mysqld
# 啓用服務
systemctl enable mysqld
# 禁用服務
systemctl disable mysqld
# 啓動服務
systemctl start mysqld
# 重啓服務
systemctl restart mysqld
# 中止服務
systemctl stop mysqld複製代碼

1.3. 初始化數據庫密碼

查看一下初始密碼

$ grep "password" /var/log/mysqld.log
2018-09-30T03:13:41.727736Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: %:lt+srWu4k1複製代碼

執行命令：

mysql -uroot -p<臨時密碼>複製代碼

輸入臨時密碼，進入 mysql，若是要修改密碼，執行如下指令：

ALTER user 'root'@'localhost' IDENTIFIED BY '你的密碼';複製代碼

注：密碼強度默認爲中等，大小寫字母、數字、特殊符號，只有修改爲功後才能修改配置再設置更簡單的密碼

1.4. 配置遠程訪問

CREATE USER 'root'@'%' IDENTIFIED BY '你的密碼';
GRANT ALL ON *.* TO 'root'@'%';
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '你的密碼';
FLUSH PRIVILEGES;複製代碼

1.5. 跳過登陸認證

vim /etc/my.cnf複製代碼

在 [mysqld] 下面加上 skip-grant-tables

做用是登陸時跳過登陸認證，換句話說就是 root 什麼密碼均可以登陸進去。

執行 systemctl restart mysqld，重啓 mysql

2. 運維

2.1. 建立用戶

CREATE USER 'username'@'host' IDENTIFIED BY 'password';複製代碼

說明：

username：你將建立的用戶名
host：指定該用戶在哪一個主機上能夠登錄，若是是本地用戶可用 localhost，若是想讓該用戶能夠從任意遠程主機登錄，可使用通配符%
password：該用戶的登錄密碼，密碼能夠爲空，若是爲空則該用戶能夠不須要密碼登錄服務器

示例：

CREATE USER 'dog'@'localhost' IDENTIFIED BY '123456';
CREATE USER 'pig'@'192.168.1.101_' IDENDIFIED BY '123456';
CREATE USER 'pig'@'%' IDENTIFIED BY '123456';
CREATE USER 'pig'@'%' IDENTIFIED BY '';
CREATE USER 'pig'@'%';複製代碼

2.2. 受權

命令：

GRANT privileges ON databasename.tablename TO 'username'@'host'複製代碼

說明：

privileges：用戶的操做權限，如SELECT，INSERT，UPDATE等，若是要授予所的權限則使用ALL
databasename：數據庫名
tablename：表名，若是要授予該用戶對全部數據庫和表的相應操做權限則可用*表示，如*.*

示例：

GRANT SELECT, INSERT ON test.user TO 'pig'@'%';
GRANT ALL ON *.* TO 'pig'@'%';
GRANT ALL ON maindataplus.* TO 'pig'@'%';複製代碼

注意：

用以上命令受權的用戶不能給其它用戶受權，若是想讓該用戶能夠受權，用如下命令:

GRANT privileges ON databasename.tablename TO 'username'@'host' WITH GRANT OPTION;複製代碼

2.3. 撤銷受權

命令:

REVOKE privilege ON databasename.tablename FROM 'username'@'host';複製代碼

說明:

privilege, databasename, tablename：同受權部分

例子:

REVOKE SELECT ON *.* FROM 'pig'@'%';複製代碼

注意:

假如你在給用戶'pig'@'%'受權的時候是這樣的（或相似的）：GRANT SELECT ON test.user TO 'pig'@'%'，則在使用REVOKE SELECT ON *.* FROM 'pig'@'%';命令並不能撤銷該用戶對 test 數據庫中 user 表的SELECT 操做。相反，若是受權使用的是GRANT SELECT ON *.* TO 'pig'@'%';則REVOKE SELECT ON test.user FROM 'pig'@'%';命令也不能撤銷該用戶對 test 數據庫中 user 表的Select權限。

具體信息能夠用命令SHOW GRANTS FOR 'pig'@'%'; 查看。

2.4. 更改用戶密碼

SET PASSWORD FOR 'username'@'host' = PASSWORD('newpassword');複製代碼

若是是當前登錄用戶用:

SET PASSWORD = PASSWORD("newpassword");複製代碼

示例：

SET PASSWORD FOR 'pig'@'%' = PASSWORD("123456");複製代碼

2.5. 備份與恢復

Mysql 備份數據使用 mysqldump 命令。

mysqldump 將數據庫中的數據備份成一個文本文件，表的結構和表中的數據將存儲在生成的文本文件中。

備份：

2.5.1. 備份一個數據庫

語法：

mysqldump -u <username> -p <database> [<table1> <table2> ...] > backup.sql複製代碼

username 數據庫用戶
dbname 數據庫名稱
table1 和 table2 參數表示須要備份的表的名稱，爲空則整個數據庫備份；
BackupName.sql 參數表設計備份文件的名稱，文件名前面能夠加上一個絕對路徑。一般將數據庫被分紅一個後綴名爲 sql 的文件

2.5.2. 備份多個數據庫

mysqldump -u <username> -p --databases <database1> <database2> ... > backup.sql複製代碼

2.5.3. 備份全部數據庫

mysqldump -u <username> -p --all-databases > backup.sql複製代碼

2.5.4. 恢復一個數據庫

Mysql 恢復數據使用 mysqldump 命令。

語法：

mysql -u <username> -p <database> < backup.sql複製代碼

2.5.5. 恢復全部數據庫

mysql -u <username> -p --all-databases < backup.sql複製代碼

2.6. 卸載

（1）查看已安裝的 mysql

$ rpm -qa | grep -i mysql
perl-DBD-MySQL-4.023-6.el7.x86_64
mysql80-community-release-el7-1.noarch
mysql-community-common-8.0.12-1.el7.x86_64
mysql-community-client-8.0.12-1.el7.x86_64
mysql-community-libs-compat-8.0.12-1.el7.x86_64
mysql-community-libs-8.0.12-1.el7.x86_64複製代碼

（2）卸載 mysql

$ yum remove mysql-community-server.x86_64複製代碼

2.7. 主從節點部署

假設須要配置一個主從 Mysql 服務器環境

master 節點：192.168.8.10
slave 節點：192.168.8.11

2.7.1. 主節點上的操做

（1）修改配置並重啓

執行 vi /etc/my.cnf ，添加以下配置：

[mysqld]
server-id=1
log_bin=/var/lib/mysql/binlog複製代碼

server-id - 服務器 ID 號。在主從架構中，每臺機器的 ID 必須惟一。
log_bin - 同步的日誌路徑及文件名，必定注意這個目錄要是 mysql 有權限寫入的；

修改後，重啓 mysql 使配置生效：

$ systemctl restart mysql複製代碼

（2）建立用於同步的用戶

進入 mysql 命令控制檯：

$ mysql -u root -p
Password:複製代碼

執行如下 SQL：

-- 建立 slave1 用戶，並指定該用戶只能在主機 192.168.8.11 上登陸
mysql> CREATE USER 'slave1'@'192.168.8.11' IDENTIFIED WITH mysql_native_password BY '密碼';
-- 爲 slave1 賦予 REPLICATION SLAVE 權限
mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'192.168.8.11';
-- 刷新受權表信息
mysql> FLUSH PRIVILEGES;複製代碼

（3）加讀鎖

爲了主庫與從庫的數據保持一致，咱們先爲 mysql 加入讀鎖，使其變爲只讀。

mysql> FLUSH TABLES WITH READ LOCK;複製代碼

（4）查看主節點狀態

mysql> show master status;
+------------------+----------+--------------+---------------------------------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB                            | Executed_Gtid_Set |
+------------------+----------+--------------+---------------------------------------------+-------------------+
| mysql-bin.000001 |     4202 |              | mysql,information_schema,performance_schema |                   |
+------------------+----------+--------------+---------------------------------------------+-------------------+
1 row in set (0.00 sec)複製代碼

注意：須要記錄下 File 和 Position，後面會用到。

（5）導出 sql

$ mysqldump -u root -p --all-databases --master-data > dbdump.sql複製代碼

（6）解除讀鎖

mysql> UNLOCK TABLES;複製代碼

（7）將 sql 遠程傳送到從節點上

$ scp dbdump.sql root@192.168.8.11:/home複製代碼

2.7.2. 從節點上的操做

（1）修改配置並重啓

執行 vi /etc/my.cnf ，添加以下配置：

[mysqld]
server-id=2
log_bin=/var/lib/mysql/binlog複製代碼

server-id - 服務器 ID 號。在主從架構中，每臺機器的 ID 必須惟一。
log_bin - 同步的日誌路徑及文件名，必定注意這個目錄要是 mysql 有權限寫入的；

修改後，重啓 mysql 使配置生效：

$ systemctl restart mysql複製代碼

（2）導入 sql

$ mysql -u root -p < /home/dbdump.sql複製代碼

（3）在從節點上創建與主節點的鏈接

進入 mysql 命令控制檯：

$ mysql -u root -p
Password:複製代碼

執行如下 SQL：

-- 中止從節點服務
mysql> STOP SLAVE;

mysql> CHANGE MASTER TO
    -> MASTER_HOST='192.168.8.10',
    -> MASTER_USER='slave1',
    -> MASTER_PASSWORD='密碼6',
    -> MASTER_LOG_FILE='binlog.000001',
    -> MASTER_LOG_POS=4202;複製代碼

MASTER_LOG_FILE 和 MASTER_LOG_POS 參數要分別與 show master status 指令得到的 File 和 Position 屬性值對應。

（4）啓動 slave 進程

mysql> start slave;複製代碼

（5）查看主從同步狀態

mysql> show slave status\G;複製代碼

說明：若是如下兩項參數均爲 YES，說明配置正確。

Slave_IO_Running
Slave_SQL_Running

（6）將從節點設爲只讀

mysql> set global read_only=1;
mysql> set global super_read_only=1;
mysql> show global variables like "%read_only%";
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_read_only      | OFF   |
| read_only             | ON    |
| super_read_only       | ON    |
| transaction_read_only | OFF   |
+-----------------------+-------+複製代碼

注：設置 slave 服務器爲只讀，並不影響主從同步。

3. 配置

大部分狀況下，默認的基本配置已經足夠應付大多數場景，不要輕易修改 Mysql 服務器配置，除非你明確知道修改項是有益的。

3.1. 配置文件路徑

配置 Mysql 首先要肯定配置文件在哪兒。

不一樣 Linux 操做系統上，Mysql 配置文件路徑可能不一樣。一般的路徑爲 /etc/my.cnf 或 /etc/mysql/my.cnf 。

若是不知道配置文件路徑，能夠嘗試如下操做：

# which mysqld
/usr/sbin/mysqld
# /usr/sbin/mysqld --verbose --help | grep -A 1 'Default options'
Default options are read from the following files in the given order:
/etc/my.cnf /etc/mysql/my.cnf /usr/etc/my.cnf ~/.my.cnf複製代碼

3.2. 配置項語法

Mysql 配置項設置都使用小寫，單詞之間用下劃線或橫線隔開（兩者是等價的）。

建議使用固定的風格，這樣檢索配置項時較爲方便。

# 這兩種格式等價
/usr/sbin/mysqld --auto-increment-offset=5
/usr/sbin/mysqld --auto_increment_offset=5複製代碼

3.3. 經常使用配置項說明

這裏介紹比較經常使用的基本配置，更多配置項說明能夠參考：Mysql 服務器配置說明

先給出一份經常使用配置模板，內容以下：

[mysqld]
# GENERAL
# -------------------------------------------------------------------------------
datadir = /var/lib/mysql
socket  = /var/lib/mysql/mysql.sock
pid_file = /var/lib/mysql/mysql.pid
user = mysql
port = 3306
default_storage_engine = InnoDB
default_time_zone = '+8:00'
character_set_server = utf8mb4
collation_server = utf8mb4_0900_ai_ci

# LOG
# -------------------------------------------------------------------------------
log_error = /var/log/mysql/mysql-error.log
slow_query_log = 1
slow_query_log_file = /var/log/mysql/mysql-slow.log

# InnoDB
# -------------------------------------------------------------------------------
innodb_buffer_pool_size = <value>
innodb_log_file_size = <value>
innodb_file_per_table = 1
innodb_flush_method = O_DIRECT

# MyIsam
# -------------------------------------------------------------------------------
key_buffer_size = <value>

# OTHER
# -------------------------------------------------------------------------------
tmp_table_size = 32M
max_heap_table_size = 32M
query_cache_type = 0
query_cache_size = 0
max_connections = <value>
thread_cache = <value>
open_files_limit = 65535

[client]
socket  = /var/lib/mysql/mysql.sock
port = 3306複製代碼

GENERAL
- datadir - mysql 數據文件所在目錄
- socket - scoket 文件
- pid_file - PID 文件
- user - 啓動 mysql 服務進程的用戶
- port - 服務端口號，默認 3306
- default_storage_engine - mysql 5.1 以後，默認引擎是 InnoDB
- default_time_zone - 默認時區。中國大部分地區在東八區，即 +8:00
- character_set_server - 數據庫默認字符集
- collation_server - 數據庫字符集對應一些排序等規則，注意要和 charactersetserver 對應
LOG
- log_error - 錯誤日誌文件地址
- slow_query_log - 錯誤日誌文件地址
InnoDB
- innodb_buffer_pool_size - InnoDB 使用一個緩衝池來保存索引和原始數據，不像 MyISAM。這裏你設置越大，你在存取表裏面數據時所須要的磁盤 I/O 越少。
  - 在一個獨立使用的數據庫服務器上,你能夠設置這個變量到服務器物理內存大小的 60%-80%
  - 注意別設置的過大，會致使 system 的 swap 空間被佔用，致使操做系統變慢，從而減低 sql 查詢的效率
  - 默認值：128M，建議值：物理內存的 60%-80%
- innodb_log_file_size - 日誌文件的大小。默認值：48M，建議值：根據你係統的磁盤空間和日誌增加狀況調整大小
- innodb_file_per_table - 說明：mysql5.7 以後默認開啓，意思是，每張表一個獨立表空間。默認值 1，開啓。
- innodb_flush_method - 說明：控制着 innodb 數據文件及 redo log 的打開、刷寫模式，三種模式：fdatasync(默認)，ODSYNC，ODIRECT。默認值爲空，建議值：使用 SAN 或者 raid，建議用 ODIRECT，不懂測試的話，默認生產上使用 ODIRECT
  - fdatasync：數據文件，buffer pool->os buffer->磁盤；日誌文件，buffer pool->os buffer->磁盤；
  - O_DSYNC：數據文件，buffer pool->os buffer->磁盤；日誌文件，buffer pool->磁盤；
  - O_DIRECT：數據文件，buffer pool->磁盤；日誌文件，buffer pool->os buffer->磁盤；
MyIsam
- key_buffer_size - 指定索引緩衝區的大小，爲 MYISAM 數據表開啓供線程共享的索引緩存，對 INNODB 引擎無效。至關影響 MyISAM 的性能。
  - 不要將其設置大於你可用內存的 30%，由於一部份內存一樣被 OS 用來緩衝行數據
  - 甚至在你並不使用 MyISAM 表的狀況下，你也須要仍舊設置起 8-64M 內存因爲它一樣會被內部臨時磁盤表使用。
  - 默認值 8M，建議值：對於內存在 4GB 左右的服務器該參數可設置爲 256M 或 384M。
  - 注意：該參數值設置的過大反而會是服務器總體效率下降！
OTHER
- tmp_table_size - 內存臨時表的最大值，默認 16M，此處設置成 128M
- max_heap_table_size - 用戶建立的內存表的大小，默認 16M，每每和 tmp_table_size 一塊兒設置，限制用戶臨時表大小。超限的話，MySQL 就會自動地把它轉化爲基於磁盤的 MyISAM 表，存儲在指定的 tmpdir 目錄下，增大 IO 壓力，建議內存大，增大該數值。
- query_cache_type - 這個系統變量控制着查詢緩存功能的開啓和關閉，0 表示關閉，1 表示打開，2 表示只要 select 中明確指定 SQL_CACHE 才緩存。
- query_cache_size - 默認值 1M，優勢是查詢緩存能夠極大的提升服務器速度，若是你有大量的相同的查詢而且不多修改表。缺點：在你表常常變化的狀況下或者若是你的查詢原文每次都不一樣，查詢緩存也許引發性能降低而不是性能提高。
- max_connections - 最大鏈接數，可設最大值 16384，通常考慮根據同時在線人數設置一個比較綜合的數字，鑑於該數值增大並不太消耗系統資源，建議直接設 10000。若是在訪問時常常出現 Too Many Connections 的錯誤提示，則須要增大該參數值
- thread_cache - 當客戶端斷開以後，服務器處理此客戶的線程將會緩存起來以響應下一個客戶而不是銷燬。可重用，減少了系統開銷。默認值爲 9，建議值：兩種取值方式，
  - 方式一，根據物理內存，1G —> 8；2G —> 16； 3G —> 32； >3G —> 64；
  - 方式二，根據 show status like 'threads%'，查看 Threads_connected 值。
- open_files_limit - MySQL 打開的文件描述符限制，默認最小 1024;
  - 當 openfileslimit 沒有被配置的時候，比較 max_connections*5 和 ulimit -n 的值，哪一個大用哪一個，
  - 當 openfilelimit 被配置的時候，比較 openfileslimit 和 max_connections*5 的值，哪一個大用哪一個
  - 注意：仍然可能出現報錯信息 Can't create a new thread；此時觀察系統 cat /proc/mysql 進程號/limits，觀察進程 ulimit 限制狀況
  - 太小的話，考慮修改系統配置表，/etc/security/limits.conf 和 /etc/security/limits.d/90-nproc.conf

4. 常見問題

4.1. Too many connections

現象

嘗試鏈接 Mysql 時，遇到 Too many connections 錯誤。

緣由

數據庫鏈接線程數超過最大值，訪問被拒絕。

解決方案

若是實際鏈接線程數過大，能夠考慮增長服務器節點來分流；若是實際線程數並不算過大，那麼能夠配置 max_connections 來增長容許的最大鏈接數。

（1）查看最大鏈接數

mysql> show variables like '%max_connections%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| max_connections        | 151   |
| mysqlx_max_connections | 100   |
+------------------------+-------+複製代碼

（2）查看服務器響應的最大鏈接數

mysql> show global status like 'Max_used_connections';
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| Max_used_connections | 142   |
+----------------------+-------+
1 row in set (0.00 sec)複製代碼

（3）臨時設置最大鏈接數

set GLOBAL max_connections=256;複製代碼

注意：當服務器重啓時，最大鏈接數會被重置。

（4）永久設置最大鏈接數

修改 /etc/my.cnf 配置文件，在 [mysqld] 添加如下配置：

max_connections=256複製代碼

重啓 mysql 以生效

（5）修改 Linux 最大文件數限制

設置了最大鏈接數，若是仍是沒有生效，考慮檢查一下 Linux 最大文件數

Mysql 最大鏈接數會受到最大文件數限制，vim /etc/security/limits.conf，添加 mysql 用戶配置

mysql hard nofile 65535
mysql soft nofile 65535複製代碼

（6）檢查 LimitNOFILE

若是是使用 rpm 方式安裝 mysql，檢查 mysqld.service 文件中的 LimitNOFILE 是否配置的過小。

4.2. 時區（time_zone）誤差

現象

數據庫中存儲的 Timestamp 字段值比真實值少了 13 個小時。

緣由

當 JDBC 與 MySQL 開始創建鏈接時，會獲取服務器參數。
當 MySQL 的 time_zone 值爲 SYSTEM 時，會取 system_time_zone 值做爲協調時區，若獲得的是 CST 那麼 Java 會誤覺得這是 CST -0500 ，所以會給出錯誤的時區信息（國內通常是CST +0800，即東八區）。

查看時區方法：

經過 show variables like '%time_zone%'; 命令查看 Mysql 時區配置：

mysql> show variables like '%time_zone%';
+------------------+--------+
| Variable_name    | Value  |
+------------------+--------+
| system_time_zone | CST    |
| time_zone        | SYSTEM |
+------------------+--------+複製代碼

解決方案

方案一

mysql> set global time_zone = '+08:00';
Query OK, 0 rows affected (0.00 sec)

mysql> set time_zone = '+08:00';
Query OK, 0 rows affected (0.00 sec)複製代碼

方案二

修改 my.cnf 文件，在 [mysqld] 節下增長 default-time-zone='+08:00' ，而後重啓。

5. 腳本

這裏推薦我寫的幾個一鍵運維腳本：

6. 參考資料

高性能 MySQL
https://www.cnblogs.com/xiaopotian/p/8196464.html
https://www.cnblogs.com/bigbrotherer/p/7241845.html
https://blog.csdn.net/managementandjava/article/details/80039650
http://www.manongjc.com/article/6996.html
https://www.cnblogs.com/xyabk/p/8967990.html
MySQL 8.0 主從（Master-Slave）配置
Mysql 主從同步實戰
MySQL 備份和恢復機制

7. 傳送門

| 個人 Github 博客 | db-tutorial 首頁 |

本文由博客一文多發平臺 OpenWrite 發佈！