支付寶系統架構概況
典型處理默認
資金處理平臺
財務會計
支付清算
覈算中心
交易
柔性事務
支付寶的開源分佈式消息中間件–Metamorphosis(MetaQ)
Metamorphosis (MetaQ) 是一個高性能、高可用、可擴展的分佈式消息中間件，相似於LinkedIn的Kafka，具備消息存儲順序寫、吞吐量大和支持本地和XA事務等特性，適用 於大吞吐量、順序消息、廣播和日誌數據傳輸等場景，在淘寶和支付寶有着普遍的應用，現已開源。python
Metamorphosis是淘寶開源的一個Java消息中間件。關於消息中間件，你應該據說過JMS規範，以及一些開源實現，如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。mysql
Metamorphosis 的起源是我從對linkedin的開源MQ–如今轉移到apache的kafka的學習開始的，這是一個設計很獨特的MQ系統，它採用pull機制，而 不是通常MQ的push模型，它大量利用了zookeeper作服務發現和offset存儲，它的設計理念我很是欣賞並贊同，強烈建議你閱讀一下它的設計 文檔，整體上說metamorphosis的設計跟它是徹底一致的。可是爲何還須要meta呢？sql
簡單歸納下我從新寫出meta的緣由：
1.Kafka是scala寫，我對scala不熟悉，而且kafka整個社區的發展太緩慢了。數據庫
2.有一些功能是kakfa沒有實現，可是咱們卻須要：事務、多種offset存儲、高可用方案(HA)等apache
3.Meta相對於kafka特有的一些功能：緩存
- 文本協議設計，很是透明，支持相似memcached stats的協議來監控broker
- 純Java實現，從通信到存儲，從client到server都是從新實現。
- 提供事務支持，包括本地事務和XA分佈式事務
- 支持HA複製，包括異步複製和同步複製，保證消息的可靠性
- 支持異步發送消息
- 消費消息失敗，支持本地恢復
- 多種offset存儲支持，數據庫、磁盤、zookeeper，可自定義實現支持group commit，提高數據可靠性和吞吐量。
- 支持消息廣播模式
- 一系列配套項目：python客戶端、twitter storm的spout、tail4j等。
所以meta相比於kafka的提高是巨大的。meta在淘寶和支付寶都獲得了普遍應用，如今天天支付寶天天經由meta路由的消息達到120億，淘寶也有天天也有上億的消息量。架構
Meta適合的應用
- 日誌傳輸，高吞吐量的日誌傳輸原本就是kafka的強項；
- 消息廣播功能，如廣播緩存配置失效；
- 數據的順序同步功能，如mysql binlog複製；
- 分佈式環境下（broker,producer,consumer都爲集羣）的消息路由，對順序和可靠性有極高要求的場景；
- 做爲通常MQ來使用的其餘功能。