Apache Pulsar Meetup | 北京站

時間 2019-12-21

標籤 apache pulsar meetup 北京站欄目 Apache 简体版

原文原文鏈接

Apache Pulsar 是下一代雲原生分佈式流數據平臺，它源於 Yahoo，2016 年 12 月開源，2018 年 9 月正式成爲 Apache 頂級項目，逐漸從單一的消息系統演化成集消息、存儲和函數式輕量化計算的流數據平臺。node

2019 年 7 月，Apache Pulsar 正式發佈了 2.4.0 版本，在 2.3.2 版本的基礎上新增了諸多功能並修復了大量漏洞，包括存儲端、Broker 端、Schema、安全、客戶端、Pulsar Functions、Pulsar IO、Pulsar Kafka、Pulsar Flink 和 Pulsar Storm 等多方面。安全

Apache Pulsar 發展迅猛，持續規律地發出脈衝信號，社區已成功探索出如下脈衝星：微信

2019 年 6 月深圳 Meetup：解析 Apache Pulsar 2.4.0 新功能、介紹 Pulsar 用戶案例、Pulsar IO、Go Function、Pulsar 與 Flink 和 Spark 的集成等。
2019 年 3 月杭州 Meetup：分享 Apache Pulsar 2.3.0 的新特性、Apache Pulsar 在智聯的實踐、Apache Pulsar 和 Apache Flink 在彈性數據處理方面的批流融合應用等。
2018 年 12 月上海 Meetup：介紹如何使用 Apache Pulsar 打造實時數據 Pipeline、解構 Apache Pulsar 強大的生態組件 Functions/IO、Schema 與 Pulsar SQL 等。
2018 年 8 月北京 Meetup：講解 Apache Pulsar 的技術細節與生產實踐等。

脈衝星是轉速最快的中子星，也是宇宙中最重要的定位系統。中國的 FAST 望遠鏡爲脈衝星的發展開創了新紀元，實現了一代天文學人的夢想，下一次觀測脈衝星的機會將空降北京。想解密外太空的新世界嗎？快快加入咱們吧！架構

本次觀測活動由 StreamNative 聯合 Yahoo! Japan、Tencent、智聯招聘、EMQ 和 Apache Flink 社區共同舉辦。app

Apache Pulsar Meetup

時間：2019-08-17（週六） 9:30-18:00分佈式

地點：北京市海淀區上地信息路 26 號中關村創業大廈，二層多功能廳函數

Multifunction Hall, 2F, Zhongguancun Venture Mansion, Xinxi Rd 26, Haidian District, Beijing, China大數據

直播地址：this

B站 https://live.bilibili.com/214...spa

會議日程

演講詳情

題目：Apache Pulsar at Yahoo! Japan

Nozomi Kurihara | Manager of the Messaging Platform team in Yahoo Japan Corporation, and committer of the Apache Pulsar project. He is responsible for creating a centralized pub-sub messaging platform based on Apache Pulsar, which deals with a vast number of service/application traffics.

Abstract：Yahoo! Japan is a heavy user of Apache Pulsar. We have used Pulsar as a private messaging platform ever since it became an open-source software. Over 170 tenants (auction, shopping, maps, mail, etc.), 4K topics, and 50K messages are produced and consumed every second.

In this talk, we will introduce use cases of Yahoo! Japan:

Log pipeline
Notification
Job queueing
Migration from Kafka

Meanwhile, we will introduce our current project: Pulsar node.js client (open-source) and Web UI tool to manage topics (available as open source soon).

題目：神祕嘉賓，大咖來襲，敬請期待

題目：智聯招聘如何參與社區開發以及 Key_Shared 等近期貢獻特性詳解

李鵬輝 | 智聯招聘消息系統負責人、Apache Pulsar Committer。
叢搏 | 智聯招聘研發工程師、Apache Pulsar Contributor。

摘要：從智聯招聘開始調研 Apache Pulsar 至今已經有一年的時間，在這一年的時間裏，Apache Pulsar 爲智聯提供了穩定的消息系統服務，承載了日均百億級別的消息量。

智聯招聘積極參與 Pulsar 社區討論及開發，貢獻了多個新特性，包括 Key_Shared 訂閱模式、HDFS Offloader 以及諸多圍繞 Pulsar Schema 以及 Presto SQL 相關的改進。

本次演講，李鵬輝將分享智聯招聘參與 Pulsar 社區的經驗和收穫，以及參與 Pulsar 2.4.0 版本發佈的感覺。此外，李鵬輝和從搏一塊兒分享智聯招聘爲 Pulsar 貢獻的特性及其使用和實現原理。

題目：Apache Pulsar 在騰訊計費場景下的實踐

劉德志 | 騰訊後臺開發高級工程師

摘要：圍繞騰訊計費業務介紹 Pulsar 典型的應用場景，以及在實際業務中遇到的問題和解決方案。

題目：Preview of Transaction Support in 2.5.0

郭斯傑 | StreamNative 創始人及 CEO、Apache Pulsar/BookKeeper PMC Member
張勇 | Apache Pulsar/BookKeeper Contributor、開源愛好者

摘要：目前 Pulsar 經過 Idempotent Producer 支持在單個 partition 中的 exactly-once 語義。Idempotent Producer 保證 Producer 發送的消息在不丟失的狀況下僅會被持久化一次。可是，當 Producer 發送消息到多個 partition 時，不能保證消息發送的原子性。一樣，Pulsar Functions 在處理多個事件或者輸出一組結果到不一樣 topic partition 時，不能保證計算的原子性。PIP-31 經過增長對事務的支持來解決上述場景面臨的問題。

本次演講，郭斯傑和張勇將會詳細解析 Pulsar 2.5.0 版本中支持的事務功能。

題目：Apache Pulsar 在 EMQ 物聯網平臺產品 ActorCloud 上的應用

金髮華 | EMQ X 產品負責人

摘要：ActorCloud 是一個開源的物聯網平臺，集成了設備多協議接入、基於 SQL 的輕量級流式物聯網數據處理、可擴展的數據持久化等功能，而且向上提供了基本的設備管理 API 和參考 UI 實現。Apache Pulsar 是雲原生新一代的消息流數據平臺，具備存儲計算分離的先進架構、統一的消息消費模型、高可用和高可擴展性、以及豐富的企業級特性。本次演講將介紹 ActorCloud 如何利用 Pulsar 的功能特性實現物聯網平臺功能需求。

題目：監控流系統中的 Flink 狀態管理

唐雲 | 阿里巴巴高級開發工程師，阿里巴巴實時計算事業部 Flink 核心引擎開發者。

摘要：本次演講涵蓋從監控流系統應用到 Flink 的狀態管理和容錯機制（state & checkpoint)。唐老師會詳細介紹 Flink State、checkpoint 及其使用方法。
在介紹這些概念的同時，唐老師會剖析相關原理，並詳細介紹 Flink state & checkpoint 在功能和易用性加強方面的工做進展。

題目：Apache Pulsar 與大數據生態的集成與實踐

申毅傑 | Apache Pulsar/Spark Contributor、開源愛好者。

摘要：和傳統的消息隊列（如 RabbitMQ）和實時數據管道（如 Apache Kafka）相比，Pulsar 的存儲分層架構、以 Segment 爲中心的分片存儲、Tiered Storage 和對 Schema 的原生支持等諸多優秀設計使其能夠一站式解決實時數據存儲的需求。同時，Apache Pulsar 與當前大數據分析引擎（例如 Apache Spark，Apache Flink ）的批流融合趨勢一致。

本次演講，申毅傑將詳細分析 Apache Pulsar 和諸多大數據分析平臺的集成實踐，分享 Pulsar 與 Apache Spark、Apache Flink、 Apache Hive 和 Presto 的集成模式和最新進展。

交通

地鐵 13 號線上地站下車，A 西口出。步行 1.1 千米至中關村創業大廈，約16分鐘。

Pulsar 大事記

2019.07 Apache Pulsar 2.4.0 發佈。

2019.05 Apache Pulsar 2.3.2 發佈。

2019.04 Apache Pulsar 2.3.1 發佈。

2019.02 Apache Pulsar 2.3 發佈。

2018.09 Apache Pulsar 2.2 發佈，Pulsar SQL 正式亮相。

2018.08 Apache Pulsar 2.1 發佈，Pulsar Connector 和 Tiered Storage 正式亮相。

2018.02 Apache Pulsar 2.0 發佈，Pulsar Functions 正式亮相。

2017.06 Apache Pulsar 進入 ASF 孵化。

2016.12 Yahoo 開源 Apache Pulsar。

關於主辦方

本次 Meetup 由 StreamNative 主辦，StreamNative 是一家圍繞 Apache Pulsar 和 Apache BookKeeper 打造下一代流數據平臺的開源基礎軟件公司。咱們秉承「Event Streaming 是大數據的將來基石」、「開源是基礎軟件的將來」這兩個理念，專一於開源生態和社區的構建，致力於前沿技術領域的創新。