在K8S集羣中一步步構建一個複雜的MySQL數據庫
文檔說明
本文面向容器初學者，做者先簡單的用MySQL官方鏡像搭建一個可運行的單實例數據庫，然後考慮生產或現實需求，一步一步完善並揉合K8S多個技術，從而構建一個複雜且可供生產用的MySQL單實例庫。node
簡單部署
以下所示，咱們僅需設置root用戶密碼（環境變量MYSQL_ROOT_PASSWORD）， 即可輕鬆的使用MySQL官方鏡像構建一個MySQL數據庫。mysql
# kubectl create -f - <<EOF
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
labels:
app: mysql
name: mysql
spec:
replicas: 1
selector:
matchLabels:
app: mysql
template:
metadata:
labels:
app: mysql
spec:
containers:
- image: mysql
name: mysql
imagePullPolicy: IfNotPresent
env:
- name: MYSQL_ROOT_PASSWORD
value: Changeme
EOF
注意：若你的K8S集羣是minishift、openshift、origin，因其爲安全考慮，不容許容器以root用戶運行，而官方MySQL鏡像卻需root權限，故爲使其能順利運行，咱們需將anyuid scc賦予default serviceaccount：git
# oc adm policy add-scc-to-user anyuid -z default
建立一Service以便集羣內外都可訪問數據庫，其中集羣外需經過nodePort設置的30006端口訪問。github
# kubectl create -f - <<EOF
apiVersion: v1
kind: Service
metadata:
labels:
app: mysql
name: mysql
spec:
type: NodePort
ports:
- port: 3306
nodePort: 30006
protocol: TCP
targetPort: 3306
selector:
app: mysql
EOF
接着，訪問數據庫並驗證其運行正常：sql
# kubectl get pod # 當前Pod名稱 NAME READY STATUS RESTARTS AGE mysql-5b5668c448-t44ml 1/1 Running 0 3h # 經過本機訪問 # kubectl exec -it mysql-5b5668c448-t44ml -- mysql -uroot -pChangeme mysql> select 1; +---+ | 1 | +---+ | 1 | +---+ # 集羣內部經過mysql service訪問： # kubectl exec -it mysql-5b5668c448-t44ml -- mysql -uroot -pChangeme -hmysql mysql> select now(); +---------------------+ | now() | +---------------------+ | 2018-05-21 07:19:14 | +---------------------+ # 集羣外部，可經過任何一個K8S節點訪問數據庫： # mysql -uroot -pChangeme -horigin-lb-01 -P30006 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | sys | +--------------------+
擴展部署
持久化存儲
若要確保MySQL重啓後數據仍然存在，咱們需爲其配置可持久化存儲，做者的實驗環境配置了GlusterFS分佈式存儲，其支持K8S動態提供特性，故可執行以下命令建立PVC：docker
# kubectl create -f - <<EOF
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: mysql
spec:
accessModes:
- ReadOnlyMany
resources:
requests:
storage: 1Gi
storageClassName: glusterfs-raid0
EOF
然後，調整Deploy並掛載卷：數據庫
spec:
containers:
- image: mysql
...
volumeMounts:
- name: mysql-data
mountPath: /var/lib/mysql
volumes:
- name: mysql-data
persistentVolumeClaim:
claimName: mysql
自定義配置文件
經過建立cm並掛載到容器中，咱們可自定義MySQL配置文件。以下所示，名爲mysql-config的cm包含一個custom.cnf文件：api
apiVersion: v1
metadata:
name: mysql-config
data:
custom.cnf: |
[mysqld]
default_storage_engine=innodb
skip_external_locking
lower_case_table_names=1
skip_host_cache
skip_name_resolve
kind: ConfigMap
將cm掛載到容器內：安全
spec:
...
containers:
- image: mysql
...
volumeMounts:
- name: mysql-config
mountPath: /etc/mysql/conf.d/
...
volumes:
- name: mysql-config
configMap:
name: mysql-config
...
加密銘感數據
用戶密碼等銘感數據以Secret加密保存，然後被Deployment經過volume掛載或環境變量引用。如本例，咱們建立root、app 、test用戶，將3個用戶的密碼加密保存：bash
# echo -n Changeme | base64 Q2hhbmdlbWU= # kubectl create -f - <<EOF apiVersion: v1 kind: Secret metadata: name: mysql-user-pwd data: mysql-root-pwd: Q2hhbmdlbWU= mysql-app-user-pwd: Q2hhbmdlbWU= mysql-test-user-pwd: Q2hhbmdlbWU= EOF
Secret建立完成後，咱們將用戶明文密碼從Deployment去除，採用環境變量方式引用Secret數據，參見以下Yaml修改，作了3個調整：
- 鏡像初始化時自動建立MYSQL_DATABASE環境變量1設置的數據庫；
- 鏡像初始化時將MYSQL_DATABASE數據庫賦予MYSQL_USER用戶；
- root用戶及MYSQL_USER用戶，其密碼均經過secretKeyRef從secret獲取；
spec:
...
containers:
- image: mysql
name: mysql
imagePullPolicy: IfNotPresent
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-root-pwd
- name: MYSQL_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-app-user-pwd
- name: MYSQL_USER
value: app
- name: MYSQL_DATABASE
value: appdb
容器健康檢查
K8S鏡像控制器可經過livenessProbe判斷容器是否異常，進而決定是否重建容器；而Service服務可經過readinessProbe判斷容器服務是否正常，從而確保服務可用性。
本例，做者配置的livenessProbe與readinessProbe是同樣的，即連續3次查詢數據庫失敗，則定義爲異常。對livenessProbe與readinessProbe詳細用法，不在本文的討論範圍內，可參考K8S官方文檔：
spec:
containers:
- image: mysql
...
livenessProbe:
exec:
command:
- /bin/sh
- "-c"
- MYSQL_PWD="${MYSQL_ROOT_PASSWORD}"
- mysql -h 127.0.0.1 -u root -e "SELECT 1"
initialDelaySeconds: 30
timeoutSeconds: 5
successThreshold: 1
failureThreshold: 3
readinessProbe:
exec:
command:
- /bin/sh
- "-c"
- MYSQL_PWD="${MYSQL_ROOT_PASSWORD}"
- mysql -h 127.0.0.1 -u root -e "SELECT 1"
initialDelaySeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
...
容器初始化
假設，咱們有這樣的需求：「初始部署MySQL時，其已包應用所需的數據庫、用戶、權限、表結構與數據」。研究MySQL官方鏡像的Dockerfile可知，數據庫初始化時將自動執行目錄/docker-entrypoint-initdb.d內的.sh、.sql、.sql.gz文件，鑑於此，咱們可有以下兩種方法：
- 基於官方鏡像從新編寫Dockerfile，將腳本copy到新鏡像/docker-entrypoint-initdb.d目錄，因需編譯新鏡像，故此方法不靈活；
- 初始化容器（initContainers）在常規容器（containers）前運行，故在初始化容器中可將腳本拷貝到共享目錄，然後MySQL鏡像掛載此目錄到/docker-entrypoint-initdb.d，此方法靈活。
本例，做者採用初始化容器方案，功能以下：
- 初始化與常規容器共享名爲mysql-initdb的emptyDir，均被掛載到/docker-entrypoint-initdb.d目錄；
- 初始化容器將.sql文件置於共享的/docker-entrypoint-initdb.d目錄，其含初始化testdb與appdb數據庫；
- 爲了不MySQL數據庫目錄內的lost+found目錄被誤認爲是數據庫，初始化容器中將其刪除；
spec:
initContainers:
- name: mysql-init
image: busybox
imagePullPolicy: IfNotPresent
env:
- name: MYSQL_TEST_USER_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-test-user-pwd
command:
- sh
- "-c"
- |
set -ex
rm -fr /var/lib/mysql/lost+found
cat > /docker-entrypoint-initdb.d/mysql-testdb-init.sql <<EOF
create database testdb default character set utf8;
grant all on testdb.* to 'test'@'%' identified by '$MYSQL_TEST_USER_PASSWORD';
flush privileges;
EOF
cat > /docker-entrypoint-initdb.d/mysql-appdb-init.sql <<EOF
create table app(id int);
insert into app values(1);
commit;
EOF
volumeMounts:
- name: mysql-data
mountPath: /var/lib/mysql
- name: mysql-initdb
mountPath: /docker-entrypoint-initdb.d
containers:
- image: mysql
volumeMounts:
- name: mysql-initdb
mountPath: /docker-entrypoint-initdb.d
...
volumes:
- name: mysql-data
persistentVolumeClaim:
claimName: mysql
- name: mysql-initdb
emptyDir: {}
...
完整Deployment
經過如上多步調整，MySQL數據庫的Deplyment以下所示：
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
labels:
app: mysql
name: mysql
spec:
replicas: 1
selector:
matchLabels:
app: mysql
template:
metadata:
labels:
app: mysql
spec:
initContainers:
- name: mysql-init
image: busybox
imagePullPolicy: IfNotPresent
env:
- name: MYSQL_TEST_USER_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-test-user-pwd
command:
- sh
- "-c"
- |
set -ex
rm -fr /var/lib/mysql/lost+found
cat > /docker-entrypoint-initdb.d/mysql-testdb-init.sql <<EOF
create database testdb default character set utf8;
grant all on testdb.* to 'test'@'%' identified by '$MYSQL_TEST_USER_PASSWORD';
flush privileges;
EOF
cat > /docker-entrypoint-initdb.d/mysql-appdb-init.sql <<EOF
create table app(id int);
insert into app values(1);
commit;
EOF
volumeMounts:
- name: mysql-data
mountPath: /var/lib/mysql
- name: mysql-initdb
mountPath: /docker-entrypoint-initdb.d
containers:
- image: mysql
name: mysql
imagePullPolicy: IfNotPresent
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-root-pwd
- name: MYSQL_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-app-user-pwd
- name: MYSQL_USER
value: app
- name: MYSQL_DATABASE
value: appdb
volumeMounts:
- name: mysql-data
mountPath: /var/lib/mysql
- name: mysql-initdb
mountPath: /docker-entrypoint-initdb.d
- name: mysql-config
mountPath: /etc/mysql/conf.d/
ports:
- name: mysql
containerPort: 3306
command:
- /bin/sh
- "-c"
- MYSQL_PWD="${MYSQL_ROOT_PASSWORD}"
- mysql -h 127.0.0.1 -u root -e "SELECT 1"
initialDelaySeconds: 30
timeoutSeconds: 5
successThreshold: 1
failureThreshold: 3
readinessProbe:
exec:
command:
- /bin/sh
- "-c"
- MYSQL_PWD="${MYSQL_ROOT_PASSWORD}"
- mysql -h 127.0.0.1 -u root -e "SELECT 1"
initialDelaySeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
volumes:
- name: mysql-data
persistentVolumeClaim:
claimName: mysql
- name: mysql-initdb
emptyDir: {}
- name: mysql-config
configMap:
name: mysql-config
建立此Deployment後，咱們有以下組件：
# kubectl get all,pvc,cm,secret # MySQL Deployment： NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE deploy/mysql 1 1 1 1 1m # RS被Deployment調用，其是自動生成的 NAME DESIRED CURRENT READY AGE rs/mysql-998977cdd 1 1 1 1m # Pod： NAME READY STATUS RESTARTS AGE po/mysql-998977cdd-v2ks2 1/1 Running 1 1m # Service： NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/mysql NodePort 172.30.3.200 <none> 3306:30006/TCP 8h # Pvc： NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE pvc/mysql Bound pvc-fe.. 1Gi ROX glusterfs-raid0 2m # Configmap： NAME DATA AGE cm/mysql-config 1 6h # Secret： NAME TYPE DATA AGE secrets/mysql-user-pwd Opaque 3 1h
按期自動備份
考慮到數據安全性，咱們按期備份數據庫，在K8S集羣中，咱們可配置CronJob實現自動備份做業。首先，建立一個持久化存儲供備份用：
# kubectl create -f - <<EOF
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: mysql-backup
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
storageClassName: glusterfs-raid0
EOF
繼而，配置實際的自動化做業任務，以下所示，天天凌晨0點將使用mysqldump備份appdb數據庫。
# kubectl create -f - <<EOF
apiVersion: batch/v1beta1
kind: CronJob
metadata:
name: mysql-backup
spec:
schedule: "0 0 * * *"
jobTemplate:
spec:
template:
spec:
containers:
- name: mysql-backup
imagePullPolicy: IfNotPresent
image: mysql
env:
- name: MYSQL_BACKUP_USER
value: root
- name: MYSQL_BACKUP_USER_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-user-pwd
key: mysql-root-pwd
- name: MYSQL_HOST
value: mysql
command:
- /bin/sh
- -c
- |
set -ex
mysqldump --host=$MYSQL_HOST --user=$MYSQL_BACKUP_USER \
--password=$MYSQL_BACKUP_USER_PASSWORD \
--routines --databases appdb --single-transaction \
> /mysql-backup/mysql-`date +"%Y%m%d"`.sql
volumeMounts:
- name: mysql-backup
mountPath: /mysql-backup
restartPolicy: OnFailure
volumes:
- name: mysql-backup
persistentVolumeClaim:
claimName: mysql-backup
EOF
結束語
本文揉合K8S多項技術，構建了一個複雜且可作生產使用的範例，固然，此庫是單實例數據庫，假若需構建數據庫高可用方案，需部署如MySQL HA、PXC集羣，其中自動做業備份範例僅使用mysqldump備份，在生產環境不是很實用，咱們須要考慮使用xtrabackup備份以及mysqlbinlog備份日誌。
相關文章
- 1. 在K8S集羣中一步步構建一個複雜的MySQL數據庫
- 2. 【MySQL集羣】 MySQL數據庫的集羣架構方案（一）
- 3. mysql 集羣 數據同步
- 4. 從零開始在虛擬機中一步一步搭建一個4個節點的CentOS集羣
- 5. java 同步數據，同步數據到另外一個庫中。
- 6. 本地搭建一個K8s的集羣
- 7. 由codis架構一步步理解分佈式數據庫集羣
- 8. MySQL數據庫集羣實戰（3）——MySQL主從複製之半同步複製
- 9. pytorch一步一步在VGG16上訓練自己的數據集
- 10. MYSQL 集羣搭建步驟
- 更多相關文章...
- • PHP MySQL 創建數據庫 - PHP教程
- • 第一個MyBatis程序 - MyBatis教程
- • TiDB 在摩拜單車在線數據業務的應用和實踐
- • Flink 數據傳輸及反壓詳解
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
