有過移動端開發經歷的開發者都深有體會:移動端IM的開發,與傳統PC端IM有很大的不一樣,尤爲無線網絡的不可靠性、移動端硬件設備資源的有限性等問題,致使一個完整的移動端IM架構設計和實現都充滿着大量的挑戰。本文將簡述移動端IM最重要的架構設計和通訊協議選擇方面的坑點,但願爲IM開發者同行帶來些許啓發。(本文同步發佈於:http://www.52im.net/thread-289-1-1.html)
php
- 即時通信開發交流羣: 215891622 [推薦]html
- 移動端IM開發推薦文章:《新手入門一篇就夠:從零開發移動端IM》java
移動互聯網時代的來臨促使咱們全部的開發者都要從用戶視角出發,基於某一特定場景來建立應用,知足用戶需求。一般,在這些應用中,溝通環節都是必不可少的。這就要求創業者不只要花時間和精力來琢磨用戶在某一特定場景下有何痛點需求,琢磨如何解決這一需求,而且可能還要花費更多的精力和時間來解決產品中「溝通」這一技術節點。
而要解決溝通問題,就須要一套IM系統(並且確定要支持移動端)。作爲IM開發者或即將成爲IM開發者的技術人員,IM的價值和重要性不言自明。但從技術實現來講,這並不容易。固然,假設你有100個用戶,什麼都是容易的,可是假設你有了100萬、1000萬甚至1億的用戶,再簡單的技術節點解決很差,都會成爲災難,況且IM系統(尤爲是移動端的IM系統)仍是存在許多技術難點和坑點的。python
其次,咱們再看一下IM 協議如何選型。一般IM採起的協議有xmpp、mqtt、protobuf等數據通訊私有協議,咱們來逐一分析他們的優缺點。
1. XMPP協議:android
2. MQTT協議:c++
3. 私有協議:算法
4. Protobuf協議:sql
補充1:強列建議使用Protobuf,理由以下數據庫
補充2:Protobuf主要適用於編程
整體而言,Protobuf仍是很是好用的,被不少開源系統用於數據通訊的工具,在google也是核心的基礎庫。
(更多文章:《強列建議將Protobuf做爲你的即時通信應用數據傳輸格式》、《如何選擇即時通信應用的數據傳輸格式》、《理論聯繫實際:一套典型的IM通訊協議設計詳解》)
最後,咱們再來了解一下移動端有哪些難點須要解決。
1. 流量:
採起哪一種協議、圖片縮略圖、附件的壓縮三點決定了流量的大小。
2. 耗電:
(1)流量越小,耗電越低。(2)心跳策略,減小心跳次數,耗電量就會下降。
3. 心跳時長:
wifi,2G,3G,4G,移動、電信、聯通,不一樣網絡,不一樣運行商,NAT失效時間不同,所以心跳的時間也就不同。
4. 網絡鏈接:
cmnet和cmwap下鏈接處理機制。
5. 網絡不穩定:
移動端最大的特色就是網絡不穩定,在不穩定的網絡狀態下,如何保證消息以最快的速度到達?如何避免重聯風暴?這些既須要從總體架構考慮,也須要在移動端採起巧妙的策略加以免。
(更多文章:移動端IM開發須要面對的技術問題)
首先,來看移動端IM架構設計須要考慮的問題。
1. 鏈接器的設計:
鏈接器主要用來管理客戶端的長鏈接。目前最好的鏈接器單臺8G8核的服務器能夠作到70萬—100萬的鏈接,而某些開發者只能作到4000左右的鏈接,相差好幾個數量級。這裏的奧妙在哪裏呢?
2. 中間件的設計:
是否採用通信中間件?通信中間件的好處有哪些?若是不採用中間件,鏈接器和邏輯服務器的鏈接關係如何管理呢?
3. 邏輯服務器:
邏輯服務器一般簡單一點,主要是根據業務邏輯進行最小粒度的劃分便可。可是即使如此,仍是有不少的開發者把看似相關實則不相關的邏輯放在一塊兒,如把鑑權和message服務器放在一塊兒。
4. 狀態服務器:
狀態服務器主要管理用戶在線、離線的相關狀態,須要採起中心節點的方案,不然狀態就會不一樣步。這裏主要須要考慮狀態服務器所對應的數據存儲機制,如何進行寫操做,如何進行讀操做?以便最大的提升狀態服務器的處理能力和響應速度。
5. 數據庫的設計:
數據庫的設計是最難的,也是作大的瓶頸。由於不管對於sql(關係型)數據庫仍是nosql(非關係型)數據庫,都有讀寫處理的極限,那就須要考慮數據庫如何分區(根據什麼原則、什麼操做、哪些用戶訪問哪一個節點上的數據庫)。同時又須要考慮每一個原子操做(如登錄)須要讀哪些庫,寫哪些庫。只有這些指標明確了,你才能在假設有100萬併發用戶,100萬條併發消息的狀況下,準確評估服務端須要多少臺服務器,如何部署。
6. 其餘:
還有設備推送的處理,何種機制可以保證不丟消息,離線消息如何處理,等等。這些都是必備而又很是複雜的功能點和技術要求,都須要採起正確的架構和策略才能實現。
(更多文章:http://www.52im.net/forum.php?mod=collection&action=view&ctid=7)
以上難點和坑點草草記錄下來也不過千把字,可是真正要解決這些問題並達到生產應用標準,卻要不知道花費多少日日夜夜、敲下多少行代碼,恐怕也只有真正作過IM的開發者纔有比較深入的體會。(本文同步發佈於:http://www.52im.net/thread-289-1-1.html)
[1] 網絡編程基礎資料:
《TCP/IP詳解 - 第11章·UDP:用戶數據報協議》
《TCP/IP詳解 - 第17章·TCP:傳輸控制協議》
《TCP/IP詳解 - 第18章·TCP鏈接的創建與終止》
《TCP/IP詳解 - 第21章·TCP的超時與重傳》
《理論經典:TCP協議的3次握手與4次揮手過程詳解》
《理論聯繫實際:Wireshark抓包分析TCP 3次握手、4次揮手過程》
《計算機網絡通信協議關係圖(中文珍藏版)》
《NAT詳解:基本原理、穿越技術(P2P打洞)、端口老化等》
《UDP中一個包的大小最大能多大?》
《Java新一代網絡編程模型AIO原理及Linux系統AIO介紹》
《NIO框架入門(三):iOS與MINA二、Netty4的跨平臺UDP雙向通訊實戰》
《NIO框架入門(四):Android與MINA二、Netty4的跨平臺UDP雙向通訊實戰》
>> 更多同類文章 ……
[2] 有關IM/推送的通訊格式、協議的選擇:
《爲何QQ用的是UDP協議而不是TCP協議?》
《移動端即時通信協議選擇:UDP仍是TCP?》
《如何選擇即時通信應用的數據傳輸格式》
《強列建議將Protobuf做爲你的即時通信應用數據傳輸格式》
《移動端IM開發須要面對的技術問題(含通訊協議選擇)》
《簡述移動端IM開發的那些坑:架構設計、通訊協議和客戶端》
《理論聯繫實際:一套典型的IM通訊協議設計詳解》
《58到家實時消息系統的協議設計等技術實踐分享》
>> 更多同類文章 ……
[3] 有關IM/推送的心跳保活處理:
《Android進程保活詳解:一篇文章解決你的全部疑問》
《Android端消息推送總結:實現原理、心跳保活、遇到的問題等》
《爲什麼基於TCP協議的移動端IM仍然須要心跳保活機制?》
《微信團隊原創分享:Android版微信後臺保活實戰分享(進程保活篇)》
《微信團隊原創分享:Android版微信後臺保活實戰分享(網絡保活篇)》
《移動端IM實踐:實現Android版微信的智能心跳機制》
《移動端IM實踐:WhatsApp、Line、微信的心跳策略分析》
>> 更多同類文章 ……
[4] 有關WEB端即時通信開發:
《新手入門貼:史上最全Web端即時通信技術原理詳解》
《Web端即時通信技術盤點:短輪詢、Comet、Websocket、SSE》
《SSE技術詳解:一種全新的HTML5服務器推送事件技術》
《Comet技術詳解:基於HTTP長鏈接的Web端實時通訊技術》
《WebSocket詳解(一):初步認識WebSocket技術》
《socket.io實現消息推送的一點實踐及思路》
>> 更多同類文章 ……
[5] 有關IM架構設計:
《淺談IM系統的架構設計》
《簡述移動端IM開發的那些坑:架構設計、通訊協議和客戶端》
《一套原創分佈式即時通信(IM)系統理論架構方案》
《從零到卓越:京東客服即時通信系統的技術架構演進歷程》
《蘑菇街即時通信/IM服務器開發之架構選擇》
《騰訊QQ1.4億在線用戶的技術挑戰和架構演進之路PPT》
《微信技術總監談架構:微信之道——大道至簡(演講全文)》
《如何解讀《微信技術總監談架構:微信之道——大道至簡》》
《快速裂變:見證微信強大後臺架構從0到1的演進歷程(一)》
《17年的實踐:騰訊海量產品的技術方法論》
>> 更多同類文章 ……
[6] 有關IM安全的文章:
《即時通信安全篇(一):正確地理解和使用Android端加密算法》
《即時通信安全篇(二):探討組合加密算法在IM中的應用》
《即時通信安全篇(三):經常使用加解密算法與通信安全講解》
《即時通信安全篇(四):實例分析Android中密鑰硬編碼的風險》
《傳輸層安全協議SSL/TLS的Java平臺實現簡介和Demo演示》
《理論聯繫實際:一套典型的IM通訊協議設計詳解(含安全層設計)》
《微信新一代通訊安全解決方案:基於TLS1.3的MMTLS詳解》
《來自阿里OpenIM:打造安全可靠即時通信服務的技術實踐分享》
>> 更多同類文章 ……
[7] 有關實時音視頻開發:
《即時通信音視頻開發(一):視頻編解碼之理論概述》
《即時通信音視頻開發(二):視頻編解碼之數字視頻介紹》
《即時通信音視頻開發(三):視頻編解碼之編碼基礎》
《即時通信音視頻開發(四):視頻編解碼之預測技術介紹》
《即時通信音視頻開發(五):認識主流視頻編碼技術H.264》
《即時通信音視頻開發(六):如何開始音頻編解碼技術的學習》
《即時通信音視頻開發(七):音頻基礎及編碼原理入門》
《即時通信音視頻開發(八):常見的實時語音通信編碼標準》
《即時通信音視頻開發(九):實時語音通信的迴音及迴音消除概述》
《即時通信音視頻開發(十):實時語音通信的迴音消除技術詳解》
《即時通信音視頻開發(十一):實時語音通信丟包補償技術詳解》
《即時通信音視頻開發(十二):多人實時音視頻聊天架構探討》
《即時通信音視頻開發(十三):實時視頻編碼H.264的特色與優點》
《即時通信音視頻開發(十四):實時音視頻數據傳輸協議介紹》
《即時通信音視頻開發(十五):聊聊P2P與實時音視頻的應用狀況》
《即時通信音視頻開發(十六):移動端實時音視頻開發的幾個建議》
《即時通信音視頻開發(十七):視頻編碼H.26四、V8的前世此生》
《簡述開源實時音視頻技術WebRTC的優缺點》
《良心分享:WebRTC 零基礎開發者教程(中文)》
>> 更多同類文章 ……
[8] IM開發綜合文章:
《移動端IM開發須要面對的技術問題》
《開發IM是本身設計協議用字節流好仍是字符流好?》
《請問有人知道語音留言聊天的主流實現方式嗎?》
《IM系統中如何保證消息的可靠投遞(即QoS機制)》
《談談移動端 IM 開發中登陸請求的優化》
《徹底自已開發的IM該如何設計「失敗重試」機制?》
《微信對網絡影響的技術試驗及分析(論文全文)》
《即時通信系統的原理、技術和應用(技術論文)》
《開源IM工程「蘑菇街TeamTalk」的現狀:一場虎頭蛇尾的開源秀》
>> 更多同類文章 ……
[9] 開源移動端IM技術框架資料:
《開源移動端IM技術框架MobileIMSDK:快速入門》
《開源移動端IM技術框架MobileIMSDK:常見問題解答》
《開源移動端IM技術框架MobileIMSDK:壓力測試報告》
>> 更多同類文章 ……
[10] 有關推送技術的文章:
《iOS的推送服務APNs詳解:設計思路、技術原理及缺陷等》
《Android端消息推送總結:實現原理、心跳保活、遇到的問題等》
《掃盲貼:認識MQTT通訊協議》
《一個基於MQTT通訊協議的完整Android推送Demo》
《求教android消息推送:GCM、XMPP、MQTT三種方案的優劣》
《移動端實時消息推送技術淺析》
《掃盲貼:淺談iOS和Android後臺實時消息推送的原理和區別》
《絕對乾貨:基於Netty實現海量接入的推送服務技術要點》
《移動端IM實踐:谷歌消息推送服務(GCM)研究(來自微信)》
《爲什麼微信、QQ這樣的IM工具不使用GCM服務推送消息?》
>> 更多同類文章 ……
[11] 更多即時通信技術好文分類:
http://www.52im.net/forum.php?mod=collection&op=all