史上最便捷搭建RocketMQ服務器的方法

時間  2021-04-22
標籤 git github spring docker express apache 瀏覽器 springboot 服務器 架構 欄目 Git 简体版
原文   原文鏈接

最近學習使用 rocketmq，須要搭建 rocketmq 服務端，本文主要記錄 rocketmq 搭建過程以及這個過程踩到的一些坑。至於有多簡單呢，在本機已有Docker環境的狀況下只須要三步便可。git

  1. 從github上面拉取項目
  2. 修改broker.conf中的brokerIP1 參數，修改成本機IP
  3. 進入docker-compose.yml文件所在路徑，執行docker-compose up命令便可

前言

首先咱們是使用Docker進行搭建環境的，因此咱們先要在本身機器上的安裝Docker，具體的安裝過程以及對於Docker的介紹官方文檔裏面說的很清楚了https://docs.docker.com/get-started/。github

咱們要搭建RocketMQ服務器，那麼咱們就要知道大概搭建RocketMQ服務器須要部署哪些東西。對於RocketMQ有一個架構圖，以下所示。而圖中所示的Producer（生產者）和Consumer（消費者）無需咱們搭建，由於那是做爲一個服務器進行啓動的。nameserver就是一個註冊中心同樣組件，咱們能夠將其簡單理解成springcloud中的Eureka，那麼nameserver是須要咱們搭建的。broker就是真正處理消息的地方，也是須要咱們搭建的。spring

RocketMQ架構圖

正常狀況咱們搭建上面所提到的兩個組件其實就能已經可以知足咱們的發送接收消息的需求了。可是一般狀況下咱們還須要搭建一個Web可視化的平臺用來查看MQ的服務狀態、消息的消費狀況、主題的隊列配置等等。這裏使用rocketmq-console。一樣也是經過Docker來進行安裝。docker

部署

上面咱們提到了須要安裝三個組件，那麼這三個組件又是須要可以互相通訊鏈接的，考慮到分開部署進行配置鏈接信息比較麻煩，因而這裏咱們採用docker-compose進行配置部署。express

首先咱們須要建立docker-compose.yml配置文件。文件內容以下apache

version: '3.5'
services:
  rmqnamesrv:
    image: foxiswho/rocketmq:server
    container_name: rmqnamesrv
    ports:
      - 9876:9876
    volumes:
      - ./logs:/opt/logs
      - ./store:/opt/store
    networks:
        rmq:
          aliases:
            - rmqnamesrv

  rmqbroker:
    image: foxiswho/rocketmq:broker
    container_name: rmqbroker
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - ./logs:/opt/logs
      - ./store:/opt/store
      - ./conf/broker.conf:/etc/rocketmq/broker.conf
    environment:
        NAMESRV_ADDR: "rmqnamesrv:9876"
        JAVA_OPTS: " -Duser.home=/opt"
        JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
    command: mqbroker -c /etc/rocketmq/broker.conf
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqbroker

  rmqconsole:
    image: styletang/rocketmq-console-ng
    container_name: rmqconsole
    ports:
      - 8080:8080
    environment:
        JAVA_OPTS: "-Drocketmq.namesrv.addr=rmqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqconsole

networks:
  rmq:
    name: rmq
    driver: bridge

而後在與docker-compose.yml同級下面相應的創建三個文件夾conf、logs、store。而後在conf文件夾下面創建broker.conf配置文件，全部文件的目錄位置以下所示。瀏覽器

docker-compose.yml
conf
	- broker.conf
logs
store

而後在編寫broker.conf配置文件裏面的內容springboot

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
#  Unless required by applicable law or agreed to in writing, software
#  distributed under the License is distributed on an "AS IS" BASIS,
#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
#  limitations under the License.


# 所屬集羣名字
brokerClusterName=DefaultCluster

# broker 名字，注意此處不一樣的配置文件填寫的不同，若是在 broker-a.properties 使用: broker-a,
# 在 broker-b.properties 使用: broker-b
brokerName=broker-a

# 0 表示 Master，> 0 表示 Slave
brokerId=0

# nameServer地址，分號分割
# namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

# 啓動IP,若是 docker 報 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
# 解決方式1 加上一句 producer.setVipChannelEnabled(false);，解決方式2 brokerIP1 設置宿主機IP，不要使用docker 內部IP
brokerIP1=192.168.1.16

# 在發送消息時，自動建立服務器不存在的topic，默認建立的隊列數
defaultTopicQueueNums=4

# 是否容許 Broker 自動建立 Topic，建議線下開啓，線上關閉 ！！！這裏仔細看是 false，false，false
autoCreateTopicEnable=true

# 是否容許 Broker 自動建立訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true

# Broker 對外服務的監聽端口
listenPort=10911

# 刪除文件時間點，默認凌晨4點
deleteWhen=04

# 文件保留時間，默認48小時
fileReservedTime=120

# commitLog 每一個文件的大小默認1G
mapedFileSizeCommitLog=1073741824

# ConsumeQueue 每一個文件默認存 30W 條，根據業務狀況調整
mapedFileSizeConsumeQueue=300000

# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
# 存儲路徑
# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
# commitLog 存儲路徑
# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
# 消費隊列存儲
# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
# 消息索引存儲路徑
# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
# checkpoint 文件存儲路徑
# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
# abort 文件存儲路徑
# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
# 限制的消息大小
maxMessageSize=65536

# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000

# Broker 的角色
# - ASYNC_MASTER 異步複製Master
# - SYNC_MASTER 同步雙寫Master
# - SLAVE
brokerRole=ASYNC_MASTER

# 刷盤方式
# - ASYNC_FLUSH 異步刷盤
# - SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH

# 發消息線程池數量
# sendMessageThreadPoolNums=128
# 拉消息線程池數量
# pullMessageThreadPoolNums=128

配置文件中的內容咱們只須要改動一點便可，即brokerIP1 這個屬性，咱們將其更改成咱們本機的ip，能夠利用ipconfig進行查看。服務器

修改完之後咱們直接在docker-compose.yml文件所在的位置輸入命令docker-compose up便可啓動。啓動成功之後在瀏覽器中輸入http://localhost:8080/便可看到管理頁面，就表示咱們搭建成功了。架構

使用Springboot快速上手

這裏將會使用 springboot 快速上手使用 mq，將會使用rocketmq-spring-boot-starter模塊。

pom 配置以下

<!--在pom.xml中添加依賴-->
<dependency>
    <groupid>org.apache.rocketmq</groupid>
    <artifactid>rocketmq-spring-boot-starter</artifactid>
    <version>2.0.3</version>
</dependency>

gradle配置以下

implementation 'org.apache.rocketmq:rocketmq-spring-boot-starter:2.0.3'

消費服務發送方配置以下：

## application.properties
rocketmq.name-server=ip:9876
rocketmq.producer.group=my-group

消費服務發送方程序以下：

@SpringBootApplication
public class ProducerApplication implements CommandLineRunner {
    @Resource
    private RocketMQTemplate rocketMQTemplate;

    public static void main(String[] args){
        SpringApplication.run(ProducerApplication.class, args);
    }

    public void run(String... args) throws Exception {
        rocketMQTemplate.convertAndSend("test-topic-1", "Hello, World!");
        rocketMQTemplate.send("test-topic-1", MessageBuilder.withPayload("Hello, World! I'm from spring message").build());
    }

}

這裏圖省事的話能夠將消費者和生產者寫道同一個項目中。

消息消費方配置以下：

## application.properties
rocketmq.name-server=ip:9876

消息消費方運行程序以下：

@SpringBootApplication
public class ConsumerApplication{

    public static void main(String[] args){
        SpringApplication.run(ConsumerApplication.class, args);
    }

    @Slf4j
    @Service
    @RocketMQMessageListener(topic = "test-topic-1", consumerGroup = "my-consumer_test-topic-1")
    public static class MyConsumer1 implements RocketMQListener<string> {
        public void onMessage(String message) {
            log.info("received message: {}", message);
        }
    }
}

到如今爲止咱們就能夠在本機上快樂的試驗各類關於RocketMQ的相關東西了。

RocketMQ的Docker配置文件存放處

RocketMQ的Docker配置文件存放處

RocketMQ的Docker配置文件存放處

你們能夠直接從上面拉取項目，啓動RocketMQ只須要兩步。

  1. 修改broker.conf中的brokerIP1 參數，修改成本機IP
  2. 進入docker-compose.yml文件所在路徑，執行docker-compose up命令便可

若是你們不想本身搭建Springboot項目的話，能夠從https://github.com/modouxiansheng/Doraemon上面直接拉取下來就好了。</string>

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程