從零開始開發IM（即時通信）服務端

好消息：IM1.0.0版本已經上線啦，支持特性：

• 私聊發送文本/文件
• 已發送/已送達/已讀回執
• 支持使用ldap登陸
• 支持接入外部的登陸認證系統
• 提供客戶端jar包，方便客戶端開發
  github連接： https://github.com/yuanrw/IM

前言

首先講講IM（即時通信）技術能夠用來作什麼：
聊天：qq、微信
直播：鬥魚直播、抖音
實時位置共享、遊戲多人互動等等
能夠說幾乎全部高實時性的應用場景都須要用到IM技術。

本篇將帶你們從零開始搭建一個輕量級的IM服務端，麻雀雖小，五臟俱全，咱們搭建的IM服務端實現如下功能：

1. 一對一的文本消息、文件消息通訊
2. 每一個消息有「已發送」/「已送達」/「已讀」回執
3. 存儲離線消息
4. 支持用戶登陸，好友關係等基本功能。
5. 可以方便地水平擴展

經過這個項目能學到什麼？

這個項目涵蓋了不少後端必備知識：

• rpc通訊
• 數據庫
• 緩存
• 消息隊列
• 分佈式、高併發的架構設計
• docker部署

消息通訊

文本消息

咱們先從最簡單的特性開始實現：一個普通消息的發送
消息格式以下：

message ChatMsg{
    id = 1;
    //消息id
    fromId = Alice
    //發送者userId
    destId = Bob
    //接收者userId
    msgBody = hello
    //消息體
}

如上圖，咱們如今有兩個用戶：Alice和Bob鏈接到了服務器，當Alice發送消息message(hello)給Bob，服務端接收到消息，根據消息的destId進行轉發，轉發給Bob。

發送回執

那咱們要怎麼來實現回執的發送呢？
咱們定義一種回執數據格式ACK，MsgType有三種，分別是sent（已發送）,delivered（已送達）, read（已讀）：

message AckMsg {
    id;
    //消息id
    fromId;
    //發送者id
    destId;
    //接收者id
    msgType;
    //消息類型
    ackMsgId;
    //確認的消息id
}

enum MsgType {
    DELIVERED;
    READ;
}

當服務端接受到Alice發來的消息時：

1. 向Alice發送一個sent(hello)表示消息已經被髮送到服務器。

message AckMsg {
    id = 2;
    fromId = Bob;
    destId = Alice;
    msgType = SENT;
    ackMsgId = 1;
}

1. 服務器把hello轉發給Bob後，馬上向Alice發送delivered(hello)表示消息已經發送給Bob。

message AckMsg {
    id = 3;
    fromId = Bob;
    destId = Alice;
    msgType = DELIVERED;
    ackMsgId = 1;
}

1. Bob閱讀消息後，客戶端向服務器發送read(hello)表示消息已讀

message AckMsg {
    id = 4;
    fromId = Bob;
    destId = Alice;
    msgType = READ;
    ackMsgId = 1;
}

這個消息會像一個普通聊天消息同樣被服務器處理，最終發送給Alice。

在服務器這裏不區分ChatMsg和AckMsg，處理過程都是同樣的：解析消息的destId並進行轉發。

水平擴展

當用戶量愈來愈大，必然須要增長服務器的數量，用戶的鏈接被分散在不一樣的機器上。此時，就須要存儲用戶鏈接在哪臺機器上。
咱們引入一個新的模塊來管理用戶的鏈接信息。

管理用戶狀態

模塊叫作user status，共有三個接口：

public interface UserStatusService {

    /**
     * 用戶上線，存儲userId與機器id的關係
     *
     * @param userId
     * @param connectorId
     * @return 若是當前用戶在線，則返回他鏈接的機器id，不然返回null
     */
    String online(String userId, String connectorId);

    /**
     * 用戶下線
     *
     * @param userId
     */
    void offline(String userId);

    /**
     * 經過用戶id查找他當前鏈接的機器id
     *
     * @param userId
     * @return
     */
    String getConnectorId(String userId);
}

這樣咱們就可以對用戶鏈接狀態進行管理了，具體的實現應考慮服務的用戶量、指望性能等進行實現。
此處咱們使用redis來實現，將userId和connectorId的關係以key-value的形式存儲。

消息轉發

除此以外，還須要一個模塊在不一樣的機器上轉發消息，以下結構：

此時咱們的服務被拆分紅了connector和transfer兩個模塊，connector模塊用於維持用戶的長連接，而transfer的做用是將消息在多個connector之間轉發。
如今Alice和Bob鏈接到了兩臺connector上，那麼消息要如何傳遞呢？

1. Alice上線，鏈接到機器[1]上時
   • 將Alice和它的鏈接存入內存中。
   • 調用user status的online方法記錄Alice上線。
2. Alice發送了一條消息給Bob
   • 機器[1]收到消息後，解析destId，在內存中查找是否有Bob。
   • 若是沒有，表明Bob未鏈接到這臺機器，則轉發給transfer。
3. transfer調用user status的getConnectorId(Bob)方法找到Bob所鏈接的connector，返回機器[2]，則轉發給機器[2]。

流程圖：

總結：

• 引入user status模塊管理用戶鏈接，transfer模塊在不一樣的機器之間轉發，使服務能夠水平擴展。
• 爲了知足實時轉發，transfer須要和每臺connector機器都保持長連接。

離線消息

若是用戶當前不在線，就必須把消息持久化下來，等待用戶下次上線再推送，這裏使用mysql存儲離線消息。
爲了方便地水平擴展，咱們使用消息隊列進行解耦。

• transfer接收到消息後若是發現用戶不在線，就發送給消息隊列入庫。
• 用戶登陸時，服務器從庫里拉取離線消息進行推送。

用戶登陸、好友關係

用戶的註冊登陸、帳戶管理、好友關係鏈等功能更適合使用http協議，所以咱們將這個模塊作成一個restful服務，對外暴露http接口供客戶端調用。

至此服務端的基本架構就完成了：

總結

以上就是這篇博客的全部內容，本篇幫你們構建了IM服務端的架構，但還有不少細節須要咱們去思考，例如：

• 如何保證消息的順序和惟一
• 多個設備在線如何保證消息一致性
• 如何處理消息發送失敗
• 消息的安全性
• 若是要存儲聊天記錄要怎麼作
• 數據庫分表分庫
• 服務高可用
  ……

更多細節實現就留到下一篇啦～

IM1.0.0版本已上線，github連接：
https://github.com/yuanrw/IM
以爲對你有幫助請點個star吧～！