mongodb 3.4 集羣搭建升級版 五臺集羣

時間  2019-11-05
標籤 mongodb 3.4 集羣 搭建 升級版 五臺 欄目 MongoDB 简体版
原文   原文鏈接

mongodb 3.4 集羣搭建升級版 五臺集羣

純潔的微笑 2017-09-21 原文html

 

最新版mongodb推薦使用yaml語法來作配置，另一些舊的配置在最新版本中已經不在生效，因此咱們在生產實際搭建mongodb集羣的時候作了一些改進。若是你們不熟悉什麼是分片、副本集、仲裁者的話請先移步查看上一篇文章：mongodb 3.4 集羣搭建：分片+副本集node

和前一個版本相比，改動點有：linux

  • 配置文件採用yaml方式來配置
  • 生產中取消了仲裁者的角色，由於仲裁者也不會存儲數據，只是起到選舉的做用，線上爲了保證數據安全，每份數據都會配置兩個副本集，也就是每份數據存儲了三份。
  • 優化配置，採用五臺集羣
  • 使用非root帳戶搭建mongodb集羣。

環境準備

系統系統 centos6.9
五臺服務器：192.168.0.31/32/33/34/35
安裝包： mongodb-linux-x86_64-3.4.6.tgzgit

服務器規劃github

服務器31 服務器32 服務器33 服務器34 服務器35
mongos server mongos server config server config server config server
shard1 server shard2 server shard3 server shard4 server shard5 server
shard5 server shard1 server shard2 server shard3 server shard4 server
shard4 server shard5 server shard1 server shard2 server shard3 server

端口分配：mongodb

 
  1. mongos：20000
  2. config：21000
  3. shard1：27001
  4. shard2：27002
  5. shard3：27003
  6. shard4：27004
  7. shard5：27005

權限分配：數據庫

登陸root帳戶，將安裝目錄和數據目錄權限分配給平常操做（youknow）帳戶vim

 
  1. chown -R youknow:youknow /usr/local/
  2. chown -R youknow:youknow /data

mongodb安裝

一、下載

下載 mongodb 3.4.6 安裝包centos

 
  1. curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.6.tgz
 
  1. #解壓
  2. tar -xzvf mongodb-linux-x86_64-3.4.6.tgz -C /usr/local/
  3. #更名
  4. mv mongodb-linux-x86_64-3.4.6 mongodb

二、建立相關目錄

根據服務器的規範，分別在對應的服務器上創建conf、mongos、config、shard一、shard二、shard三、shard四、shard5等目錄，由於mongos不存儲數據，只須要創建日誌文件目錄便可。安全

 
  1. mkdir -p /usr/local/mongodb/conf
  2. mkdir -p /data/mongos/log
  3. mkdir -p /data/config/data
  4. mkdir -p /data/config/log
  5. mkdir -p /data/shard1/data
  6. mkdir -p /data/shard1/log
  7. mkdir -p /data/shard2/data
  8. mkdir -p /data/shard2/log
  9. mkdir -p /data/shard3/data
  10. mkdir -p /data/shard3/log
  11. mkdir -p /data/shard4/data
  12. mkdir -p /data/shard4/log
  13. mkdir -p /data/shard5/data
  14. mkdir -p /data/shard5/log

三、環境變量

爲了後續方便操做，配置mongodb的環境變量，須要切到root用戶下面

 
  1. vim /etc/profile
  2. # 內容
  3. export MONGODB_HOME=/usr/local/mongodb
  4. export PATH=$MONGODB_HOME/bin:$PATH
  5. # 使當即生效，在安裝用戶下（youknow）執行
  6. source /etc/profile

查看mongodb版本信息mongod -v 輸出版本信息代表配置環境變量成功

集羣配置

一、config server配置服務器

在服務器3三、3四、35上配置如下內容：

添加配置文件：

添加配置文件

 
  1. vi /usr/local/mongodb/conf/config.conf
  2.  
  3. ## content
  4. systemLog:
  5. destination: file
  6. logAppend: true
  7. path: /data/config/log/config.log
  8.  
  9. # Where and how to store data.
  10. storage:
  11. dbPath: /data/config/data
  12. journal:
  13. enabled: true
  14. # how the process runs
  15. processManagement:
  16. fork: true
  17. pidFilePath: /data/config/log/configsrv.pid
  18.  
  19. # network interfaces
  20. net:
  21. port: 21000
  22. bindIp: 192.168.0.33
  23.  
  24. #operationProfiling:
  25. replication:
  26. replSetName: config
  27.  
  28. sharding:
  29. clusterRole: configsvr

啓動三臺服務器的config server

 
  1. numactl --interleave=all mongod --config /usr/local/mongodb/conf/config.conf

登陸任意一臺配置服務器，初始化配置副本集

 
  1. #鏈接
  2. mongo 192.168.0.33:21000
  3. #config變量
  4. config = {
  5. ... _id : "config",
  6. ... members : [
  7. ... {_id : 0, host : "192.168.0.33:21000" },
  8. ... {_id : 1, host : "192.168.0.34:21000" },
  9. ... {_id : 2, host : "192.168.0.35:21000" }
  10. ... ]
  11. ... }
  12.  
  13. #初始化副本集
  14. rs.initiate(config)
  15.  
  16. #查看分區狀態
  17. rs.status();

其中，"_id" : "configs"應與配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 爲三個節點的ip和port

這樣配置服務器就配置好了

二、配置分片、副本集

配置第一個分片副本集

在服務器 3一、3二、33上面作如下配置

配置文件

 
  1. vi /usr/local/mongodb/conf/shard1.conf
  2.  
  3. #配置文件內容
  4. # where to write logging data.
  5. systemLog:
  6. destination: file
  7. logAppend: true
  8. path: /data/shard1/log/shard1.log
  9.  
  10. # Where and how to store data.
  11. storage:
  12. dbPath: /data/shard1/data
  13. journal:
  14. enabled: true
  15. wiredTiger:
  16. engineConfig:
  17. cacheSizeGB: 20
  18.  
  19. # how the process runs
  20. processManagement:
  21. fork: true
  22. pidFilePath: /data/shard1/log/shard1.pid
  23.  
  24. # network interfaces
  25. net:
  26. port: 27001
  27. bindIp: 192.168.0.33
  28.  
  29. #operationProfiling:
  30. replication:
  31. replSetName: shard1
  32. sharding:
  33. clusterRole: shardsvr

啓動三臺服務器的shard1 server

 
  1. numactl --interleave=all mongod --config /usr/local/mongodb/conf/shard1.conf

登錄任意一臺服務器，初始化副本集

 
  1. mongo 192.168.0.31:27001
  2. #使用admin數據庫
  3. use admin
  4. #定義副本集配置
  5. config = {
  6. ... _id : "shard1",
  7. ... members : [
  8. ... {_id : 0, host : "192.168.0.31:27001" },
  9. ... {_id : 1, host : "192.168.0.32:27001" },
  10. ... {_id : 2, host : "192.168.0.33:27001" }
  11. ... ]
  12. ... }
  13.  
  14. #初始化副本集配置
  15. rs.initiate(config);
  16.  
  17. #查看分區狀態
  18. rs.status();

配置第二個分片副本集

在服務器3二、3三、34上面作如下配置

配置文件

 
  1. vi /usr/local/mongodb/conf/shard2.conf
  2.  
  3. #配置文件內容
  4. # where to write logging data.
  5. systemLog:
  6. destination: file
  7. logAppend: true
  8. path: /data/shard2/log/shard2.log
  9.  
  10. # Where and how to store data.
  11. storage:
  12. dbPath: /data/shard2/data
  13. journal:
  14. enabled: true
  15. wiredTiger:
  16. engineConfig:
  17. cacheSizeGB: 20
  18.  
  19. # how the process runs
  20. processManagement:
  21. fork: true
  22. pidFilePath: /data/shard2/log/shard2.pid
  23.  
  24. # network interfaces
  25. net:
  26. port: 27002
  27. bindIp: 192.168.0.33
  28.  
  29. #operationProfiling:
  30. replication:
  31. replSetName: shard2
  32. sharding:
  33. clusterRole: shardsvr

啓動三臺服務器的shard2 server

 
  1. numactl --interleave=all mongod --config /usr/local/mongodb/conf/shard2.conf

登錄任意一臺服務器，初始化副本集

 
  1. mongo 192.168.0.32:27002
  2. #使用admin數據庫
  3. use admin
  4. #定義副本集配置
  5. config = {
  6. ... _id : "shard2",
  7. ... members : [
  8. ... {_id : 0, host : "192.168.0.32:27002" },
  9. ... {_id : 1, host : "192.168.0.33:27002" },
  10. ... {_id : 2, host : "192.168.0.34:27002" }
  11. ... ]
  12. ... }
  13.  
  14. #初始化副本集配置
  15. rs.initiate(config);
  16.  
  17. #查看分區狀態
  18. rs.status();

配置第三個分片副本集

在服務器3三、3四、35上面作如下配置

配置文件

 
  1. vi /usr/local/mongodb/conf/shard3.conf
  2.  
  3. #配置文件內容
  4. # where to write logging data.
  5. systemLog:
  6. destination: file
  7. logAppend: true
  8. path: /data/shard3/log/shard3.log
  9.  
  10. # Where and how to store data.
  11. storage:
  12. dbPath: /data/shard3/data
  13. journal:
  14. enabled: true
  15. wiredTiger:
  16. engineConfig:
  17. cacheSizeGB: 20
  18. # how the process runs
  19. processManagement:
  20. fork: true
  21. pidFilePath: /data/shard3/log/shard3.pid
  22.  
  23. # network interfaces
  24. net:
  25. port: 27003
  26. bindIp: 192.168.0.33
  27.  
  28. #operationProfiling:
  29. replication:
  30. replSetName: shard3
  31. sharding:
  32. clusterRole: shardsvr

啓動三臺服務器的shard3 server

 
  1. numactl --interleave=all mongod --config /usr/local/mongodb/conf/shard3.conf

登錄任意一臺服務器，初始化副本集

 
  1. mongo 192.168.0.33:27003
  2. #使用admin數據庫
  3. use admin
  4. #定義副本集配置
  5. config = {
  6. ... _id : "shard3",
  7. ... members : [
  8. ... {_id : 0, host : "192.168.0.33:27003" },
  9. ... {_id : 1, host : "192.168.0.34:27003" },
  10. ... {_id : 2, host : "192.168.0.35:27003" }
  11. ... ]
  12. ... }
  13.  
  14. #初始化副本集配置
  15. rs.initiate(config);
  16.  
  17. #查看分區狀態
  18. rs.status();

配置第四個分片副本集

在服務器3四、3五、31上面作如下配置

配置文件

 
  1. vi /usr/local/mongodb/conf/shard4.conf
  2.  
  3. #配置文件內容
  4. # where to write logging data.
  5. systemLog:
  6. destination: file
  7. logAppend: true
  8. path: /data/shard4/log/shard4.log
  9.  
  10. # Where and how to store data.
  11. storage:
  12. dbPath: /data/shard4/data
  13. journal:
  14. enabled: true
  15. wiredTiger:
  16. engineConfig:
  17. cacheSizeGB: 20
  18.  
  19. # how the process runs
  20. processManagement:
  21. fork: true
  22. pidFilePath: /data/shard4/log/shard4.pid
  23.  
  24. # network interfaces
  25. net:
  26. port: 27004
  27. bindIp: 192.168.0.35
  28.  
  29. #operationProfiling:
  30. replication:
  31. replSetName: shard4
  32. sharding:
  33. clusterRole: shardsvr

啓動三臺服務器的shard4 server

 
  1. numactl --interleave=all mongod --config /usr/local/mongodb/conf/shard4.conf

登錄任意一臺服務器，初始化副本集

 
  1. mongo 192.168.0.34:27004
  2. #使用admin數據庫
  3. use admin
  4. #定義副本集配置
  5. config = {
  6. ... _id : "shard4",
  7. ... members : [
  8. ... {_id : 0, host : "192.168.0.34:27004" },
  9. ... {_id : 1, host : "192.168.0.35:27004" },
  10. ... {_id : 2, host : "192.168.0.31:27004" }
  11. ... ]
  12. ... }
  13.  
  14. #初始化副本集配置
  15. rs.initiate(config);
  16.  
  17. #查看分區狀態
  18. rs.status();

配置第五個分片副本集

在服務器3五、3一、32上面作如下配置

配置文件

 
  1. vi /usr/local/mongodb/conf/shard5.conf
  2.  
  3. #配置文件內容
  4. # where to write logging data.
  5. systemLog:
  6. destination: file
  7. logAppend: true
  8. path: /data/shard5/log/shard5.log
  9.  
  10. # Where and how to store data.
  11. storage:
  12. dbPath: /data/shard5/data
  13. journal:
  14. enabled: true
  15. wiredTiger:
  16. engineConfig:
  17. cacheSizeGB: 20
  18.  
  19. # how the process runs
  20. processManagement:
  21. fork: true
  22. pidFilePath: /data/shard5/log/shard5.pid
  23.  
  24. # network interfaces
  25. net:
  26. port: 27005
  27. bindIp: 192.168.0.35
  28.  
  29. #operationProfiling:
  30. replication:
  31. replSetName: shard5
  32. sharding:
  33. clusterRole: shardsvr

啓動三臺服務器的shard5 server

 
  1. numactl --interleave=all mongod --config /usr/local/mongodb/conf/shard5.conf

登錄任意一臺服務器，初始化副本集

 
  1. mongo 192.168.0.35:27005
  2. #使用admin數據庫
  3. use admin
  4. #定義副本集配置
  5. config = {
  6. ... _id : "shard5",
  7. ... members : [
  8. ... {_id : 0, host : "192.168.0.35:27005" },
  9. ... {_id : 1, host : "192.168.0.31:27005" },
  10. ... {_id : 2, host : "192.168.0.32:27005" }
  11. ... ]
  12. ... }
  13.  
  14. #初始化副本集配置
  15. rs.initiate(config);
  16.  
  17. #查看分區狀態
  18. rs.status();

至此，五個分片和副本集搭建完畢

三、配置路由服務器 mongos

如下配置在服務器3一、32上執行

注意：先啓動配置服務器和分片服務器,後啓動路由實例

 
  1. vi /usr/local/mongodb/conf/mongos.conf
  2.  
  3. systemLog:
  4. destination: file
  5. logAppend: true
  6. path: /data/mongos/log/mongos.log
  7. processManagement:
  8. fork: true
  9. # pidFilePath: /usr/local/mongodb/mongos.pid
  10.  
  11. # network interfaces
  12. net:
  13. port: 20000
  14. bindIp: 192.168.0.31
  15. #監聽的配置服務器,只能有1個或者3個 configs爲配置服務器的副本集名字
  16. sharding:
  17. configDB: configs/192.168.0.33:21000,192.168.0.34:21000,192.168.0.35:21000

啓動二臺服務器的mongos server

 
  1. mongos --config /usr/local/mongodb/conf/mongos.conf

四、啓用分片

目前搭建了mongodb配置服務器、路由服務器，各個分片服務器，不過應用程序鏈接到mongos路由服務器並不能使用分片機制，還須要在程序裏設置分片配置，讓分片生效。

登錄任意一臺mongos

 
  1. mongo 192.168.0.31:20000
  2. #使用admin數據庫
  3. use admin
  4. #串聯路由服務器與分配副本集
  5. sh.addShard("shard1/192.168.0.31:27001,192.168.0.32:27001,192.168.0.33:27001")
  6. sh.addShard("shard2/192.168.0.32:27002,192.168.0.33:27002,192.168.0.34:27002")
  7. sh.addShard("shard3/192.168.0.33:27003,192.168.0.34:27003,192.168.0.35:27003")
  8. sh.addShard("shard4/192.168.0.34:27004,192.168.0.35:27004,192.168.0.31:27004")
  9. sh.addShard("shard5/192.168.0.35:27005,192.168.0.31:27005,192.168.0.32:27005")
  10. #查看集羣狀態
  11. sh.status()

這樣mongodb的五臺集羣搭建就已經完成了，後期如何優化和運營請查看下一篇文章。

錯誤

rs.initiate報錯

執行 rs.initiate(config); 報錯：

 
  1. rs.initiate(config);
  2. {
  3. "ok" : 0,
  4. "errmsg" : "No host described in new configuration 1 for replica set shard1 maps to this node",
  5. "code" : 93,
  6. "codeName" : "InvalidReplicaSetConfig"
  7. }

最後發現是本身的一個端口號寫錯了。

啓動mongos報錯

啓動mongos的時候報錯：

 
  1. about to fork child process, waiting until server is ready for connections.
  2. forked process: 1436
  3. ERROR: child process failed, exited with error number 1

這個問題卡了咱們半天，找了不少的資料，不是說清理lock文件，就是說清理log文件總無解，最後看到這個網站的提示

ERROR: child process failed, exited with error number 1

去掉了配置文件中 --fork，纔將真正的錯誤日誌打印了出來，是咱們的配置文件中的路徑寫錯了，原本是log寫成了logs

原來：path: /data/logs/mongos.log

改成：path: /data/log/mongos.log

成功

爲了方便你們拿取配置文件，我在github上面放置了一份:mongodb-five-cluster-conf

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程