Apache Pulsar 8 月月報：大放異彩，里程碑一個接一個

時間 2020-09-05

標籤 apache pulsar 月報大放異彩里程碑一個接一個欄目 Apache 简体版

原文原文鏈接

本月看點速覽

產品動態
新增 PIP
新增功能
Bug 修復
社區動態
海內外社區動態
技術乾貨

關於 Apache Pulsar

Apache Pulsar 是 Apache 軟件基金會頂級項目，是下一代雲原生分佈式消息流平臺，集消息、存儲、輕量化函數式計算爲一體，採用計算與存儲分離架構設計，支持多租戶、持久化存儲、多機房跨區域數據複製，具備強一致性、高吞吐、低延時及高可擴展性等。git

導語

各位小夥伴們，Pulsar 社區月報如約而至！github

本月 Pulsar 社區內發生了不少「大事」。經歷 8 個月後，項目貢獻者已從 200 人到達 300+，日新月異。同時產品部分，Pulsar 也從 2.6.0 更新到了 2.6.1，修復了以前的 bug，合併了來自社區的 102 個 commit，感謝如下各位大佬本月對 Pulsar 項目的支持，讓 Apache Pulsar 繼續發光發熱！（排名不分前後，看看你有沒有上榜 🏆🏆）：apache

@jianyun802三、@31515797三、@ebyhr、@BewareMyPower、@hangc027六、@wolfstudy、@sijie、@srkukarni、@jiazhai、@merlimat、@sijia-w、@Jennifer88huang、@Mefl、@codelipenghui、@geetha-rangaswamaiah、@zhanghaou、@RobertIndie、@BewareMyPower、@rudy2steiner、@gaoran十、@massakam、@zymap、@aahmed-se、@MarvinCai、@Bklyn

產品動態

Go Client 0.2.0 版本已發佈，更多功能介紹能夠參考下方連接：
https://github.com/apache/pul... 。緩存

🧰 新增 PIP安全

PIP 69: Schema design for Go client網絡

在基於 Pulsar 構建的一系列應用程序中，類型安全是一個很重要的特性。當前 Apache Pulsar 已經支持了 Schema Registry 的功能。而且 Java、CPP 和 Python clients 已經支持了 Schema 相關的功能。爲了進一步完善 Go client 的功能，咱們也須要在 Go client 中支持 Schema Registry。架構

更多詳情查看：
https://github.com/apache/pul...分佈式

🧰 新增功能ide

Broker：支持在 Topic 級別設置 MaxUnackedMessagesOnConsumer
https://github.com/apache/pul...函數

Broker：支持在 Topic 級別設置 persistence 策略
https://github.com/apache/pul...

Broker：支持在 Topic 級別進行重複數據刪除
https://github.com/apache/pul...

Java Client：支持批量消息簽收
https://github.com/apache/pul...

Python CLient：在 Python 客戶端添加 oauth2 封裝
https://github.com/apache/pul...

Java Client：支持在生產者和發送者設置 autoPartitionsUpdateInterval
https://github.com/apache/pul...

Transaction：改進對消費事務消息的支持
https://github.com/apache/pul...

Transaction：支持將生產的事務型消息發送到 Pulsar broker 並執行提交命令
https://github.com/apache/pul...

Topic Policy：支持在 Topic 級別設置存留配額
https://github.com/apache/pul...

Topic policy：支持在 Topic 級別設置 MaxUnackMessagesPerSubscription
https://github.com/apache/pul...

Topic policy：支持設置 Topic 級別的消息延遲策略
https://github.com/apache/pul...

Build：將 Presto 升級到 332 版本
https://github.com/apache/pul...

Pulsar-IO hdfs2：增長從當前時間建立子目錄的配置，方便批量處理 HDFS 文件
https://github.com/apache/pul...

Broker：增長支持對 ZooKeeper 緩存執行器線程池大小可配置
https://github.com/apache/pul...

Broker：增長支持對 orderedExecutor 線程數可配置
https://github.com/apache/pul...

🔧 Bug 修復

Java Client：避免重複訂閱同一主題
https://github.com/apache/pul...

Broker：當經過 message ID 查詢消息時，若是當前 broker 不負責此 topic，重定向至 owner broker
https://github.com/apache/pul...

Java Client：修復 PersistentAcknowledgmentsGroupingTracker 中的 pendingBatchIndexAcks，bitSet 和 batchSize
https://github.com/apache/pul...

CPP Client：修復因 seeking 或關閉消費者而致使的競態條件
https://github.com/apache/pul...

Security：修復 Pulsar 組件安全漏洞
https://github.com/apache/pul...

Security：運用 ‘allowTopicOperationAsync’ 來檢查原始角色是不是超級用戶
https://github.com/apache/pul...

Security：在源/接收器/功能操做之間區分受權
https://github.com/apache/pul...

CPP client：修復 Oauth2 認證中的 issuer_url 解析失敗問題
https://github.com/apache/pul...

CPP client：修復建立 reader 時的引用泄漏
https://github.com/apache/pul...

Admin Client：確保當從一個不存在的 namespace 刪除一個分區主題時返回 404 報錯
https://github.com/apache/pul...

Broker：修復建立 ledger 超時時 producer 卡頓的問題
https://github.com/apache/pul...

社區動態：多個里程碑

📣 Pulsar 貢獻人數超 300
8 月 21 日，Apache Pulsar 的 GitHub 項目 contributor 數量正式超過 300 位。距離 200 人僅過去 8 個月，感謝各位的積極參與和項目共享。Pulsar 也因大家更精彩！

📣 Pulsar 雲服務功能上線
Apache 頂級項目 Pulsar 背後的開源流數據公司 StreamNative 宣佈，推出基於 Apache Pulsar 的雲端服務產品——StreamNative Cloud。該產品的發佈，讓 Pulsar®-as-a-Service（PaaS）成爲現實，加速 Pulsar 推廣與落地，助力企業推動「流優先」策略。

📣 2.6.1 版本上線
8 月 21 日，Pulsar 2.6.1 版本正式上線。此版本修復了 2.6.0 版本中的諸多問題，改進了一些功能，新增了對 OAuth2 的支持，覆蓋了 Broker、Pulsar SQL、 Pulsar Functions、Go Function、Java Client 和 Cpp Client，進一步豐富了 Pulsar 做爲雲原生流數據平臺的能力。

📣 Pulsar 聯合 TiDB 推出大數據場景數據應用分析解決方案
Pulsar 與 TiDB 推出聯合解決方案，提供實時、高吞吐、穩定的數據輸出，知足用戶在大數據場景中對各種數據的應用與分析需求，普遍適用於日誌收集、監控數據聚合、流式數據處理、在線和離線分析等場景。目前該解決方案已經在伴魚少兒英語（互聯網在線英語教育品牌）、知乎（中文互聯網綜合性內容平臺）、石基信息（酒店業信息系統解決方案服務商）等多家行業頂尖公司落地。