歡迎你們前往騰訊雲+社區,獲取更多騰訊海量技術實踐乾貨哦~緩存
雲+導語:4月22日,由騰訊雲和 Kafka 社區主辦、開源中國協辦的騰訊雲+社區技術沙龍 Kafka Meetup
深圳站在騰訊大廈舉行,本次活動全程乾貨滿滿,不只有 Kafka 的前世此生及展望,也有對 Kafka 技術架構的深刻解析,同時還有基於 Kafka 的應用平臺的相關開發與運維實踐。活動異常火爆,現場近三百人蔘與交流,很多參會者表示活動質量很高,不枉此行。
現場聽衆架構
2010年,LinkedIn 着手開發 Kafka,到2011年 Kafka 進入 Apache 孵化器,成爲世界頂級開源項目,並迅速被各類企業採用。據分析,目前已經有超過70%的世界500強公司在使用 Kafka。Kafka 主要做者、項目委員會主席及 Confluent 聯合創始人饒軍首先爲你們帶來了《Apache Kafka 的過去、如今和將來》的分享,介紹了 Kafka 這一路的各個關鍵節點及展望。他認爲「Kafka 將來不單單是一個實時數據收集和傳輸系統,隨着接下來的發展,它更偏向於成爲一個實時數據流處理、交換和共享的平臺。」
饒軍:Apache Kafka 的過去、如今和將來運維
騰訊基礎架構部高級工程師楊原分享了《Kafka 集羣自動化運營實踐》,他介紹了騰訊雲 CKafka 系統在自動化運營時,須要面對的大規模 Kafka 集羣故障節點移除、新節點加入、節點間數據傾斜、用戶所需 Kafka 實例動態升降配與 Borker 資源利用率不均衡等問題,同時也給出了騰訊的相應解決方案。
楊原:Kafka 集羣自動化運營實踐性能
下一位分享嘉賓白瑜慶是來自知乎技術中臺的負責人,他帶來的是《知乎基於 Kubernetes 的 Kafka 平臺的設計和實現》,分享了 Kafka 在知乎的應用,以及爲什麼要基於 K8S 作 Kafka 平臺,具體是如何去作這樣一個平臺的。據白瑜慶介紹,知乎在日誌、數據傳輸與消息隊列服務中應用了 Kafka,Kafka 已成了知乎技術平臺中的重要組件,目前已經平穩運行了2年。
白瑜慶:知乎基於 Kubernetes 的 Kafka 平臺的設計和實現學習
隨後茶歇環節,參會者圍繞着分享嘉賓紛紛提問,現場氣氛活躍,技術氛圍濃厚。
茶歇提問優化
回到下半場分享,首先是格靈深瞳深瞳雲數據流研發負責人陳新宇帶來《CKafka 在人臉識別 PaaS 中的應用》。格靈深瞳的大規模圖片人臉識別服務使用了通過騰訊雲優化的 CKafka,應用在業務數據導入、緩存、輸出以及監控與日誌收集等各個環節,鏈接了各個數據處理模塊,爲實時的人臉特徵提取、比對及分析提供了保障,是圖片流實時人臉識別平臺的核心。陳新宇從應用層面介紹了 Kafka 在深度學習人臉識別平臺架構中的位置及重要性,並介紹了一些 connect 等 Kafka 生態組件的應用與遇到的問題。
陳新宇:CKafka 在人臉識別 PaaS 中的應用ui
最後騰訊雲基礎架構部高級工程師閆燕飛分享了《Kafka 高性能解密及優化》,深度解析了 Kafka 的技術架構,並從存儲與消息格式等方面分享了 Kafka 高性能的緣由,同時對優化其性能也提出了一些看法。
閆燕飛:Kafka 高性能解密及優化spa
騰訊雲+社區技術沙龍 Kafka Meetup 是由騰訊雲+社區和 Kafka 社區主辦的 Kafka 線下技術分享活動。這次是 Kafka Meetup 第一次在深圳舉辦,由開源中國協辦。活動不只擴大了 Kafka 開源社區的影響力,也引起了開發者對於 Kafka 的應用場景及將來走向的進一步思考。設計
部分聽衆
嘉賓合影
部分工做人員與志願者日誌
【聯合主辦方】
【直播支持】
現場資料
Apache Kafka的過去,如今,和將來.pdf
kafka-高性能揭祕及優化.pdf
kafka在人臉識別PAAS中的應用.pdf
騰訊雲Kafka自動化運營實踐.pdf
知乎基於Kubernetes的Kafka平臺的設計和實現.pdf
問答
Apache Kafka vs Apache Storm如何使用?
相關閱讀
Kafka漫遊記
Kafka架構
Kafka 高可用設計
此文已由做者受權騰訊雲+社區發佈,原文連接:https://cloud.tencent.com/dev...