Knative 實戰：基於阿里雲 Kafka 實現消息推送

在 Knative 中已經提供了對 Kafka 事件源的支持，那麼如何在阿里雲上基於 Kafka 實現消息推送，本文給你們解鎖這一新的姿式。

背景

消息隊列 for Apache Kafka 是阿里雲提供的分佈式、高吞吐、可擴展的消息隊列服務。消息隊列 for Apache Kafka 普遍用於日誌收集、監控數據聚合、流式數據處理、在線和離線分析等大數據領域，已成爲大數據生態中不可或缺的部分。
另外 Knative 中提供了KafkaSource事件源的支持，經過這個事件源能夠方便的對接 Kafka 消息服務。

在阿里雲上建立 Kafka 實例

建立 Kafka 實例

登陸消息隊列Kafka控制檯, 選擇【購買實例】。因爲當前Knative中Kafka事件源支持2.0.0及以上版本，在阿里雲上建立 Kafka 實例須要選擇包年包月、專業版本進行購買，購買以後升級到 2.0.0 便可。

部署實例並綁定 VPC

購買完成以後，進行部署，部署時設置 Knative 集羣所在的 VPC 便可：

建立 Topic 和 Consumer Group

接下來咱們建立 Topic 和消費組。
進入【Topic 管理】，點擊建立Topic, 這裏咱們建立名稱爲demo的topic:

進入【Consumer Group 管理】,點擊建立 Consumer Group, 這裏咱們建立名稱爲demo-consumer的消費組:

部署 Kafka 數據源

部署 Kafka addon 組件

登陸容器服務控制檯，進入【Knative 組件管理】，部署 Kafka addon 組件。

建立 KafkaSource 實例

首先建立用於接收事件的服務 event-display:

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: event-display
spec:
  template:
    spec:
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d

接下來建立KafkaSource

apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:
  name: alikafka-source
spec:
  consumerGroup: demo-consumer
  # Broker URL. Replace this with the URLs for your kafka cluster,
  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.
  bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092
  topics: demo
  sink:
    apiVersion: serving.knative.dev/v1alpha1
    kind: Service
    name: event-display

說明：

• bootstrapServers: Kafka VPC訪問地址
• consumerGroup： 設置消費組
• topics：設置Topic

建立完成以後，咱們能夠查看對應的實例已經運行：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods
NAME                                    READY   STATUS    RESTARTS   AGE
alikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h

驗證

在Kafka 控制檯，選擇 topic 發送消息，注意這裏的消息格式必須是 json：

咱們能夠看到已經接收到了發送過來的 Kafka 消息：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container

️  CloudEvent: valid 
Context Attributes,
  SpecVersion: 0.2
  Type: dev.knative.kafka.event
  Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo
  ID: partition:7/offset:1
  Time: 2019-10-18T08:50:32.492Z
  ContentType: application/json
  Extensions: 
    key: demo
Transport Context,
  URI: /
  Host: event-display.default.svc.cluster.local
  Method: POST
Data,
  {
    "key": "test"
  }

---

本文做者：元毅

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。