如何將實時計算 Flink 與自身環境打通

簡介： 如何使用實時計算 Flink 搞定數據處理難題？實時計算 Flink 客訓練營產品、技術專家齊上陣，從 Flink的發展、 Flink 的技術原理、應用場景及行業案例，到開源Flink功能介紹和實時計算 Flink 優點詳解，現場實操，9天便可上手！ 本篇內容將介紹如何實時計算 Flink 與自身環境打通。

1、運行做業的Jar如何存儲在OSS上

在VVP平臺有兩種方法能夠上傳做業的jar。

方法一，藉助VVP提供的資源上傳功能，能夠直接使用這個功能對Jar進行上傳目前該功能支持200兆之內的Jar包上傳。使用時，直接在建立做業的時候選擇上傳的jar包就能夠了，演示以下：

● 進入到VVP平臺，點擊左側資源上傳功能，而後在打開頁面點擊右上角的上傳資源，選擇要上傳的Jar包，完成上傳；

● 上傳成功後，點擊左側建立做業，完善做業名等信息。在Jar URI欄，下拉選擇剛剛上傳的Jar包，點擊肯定完成建立做業，而後啓動便可使用。

方法二，直接在OSS的控制檯上面，將要使用的Jar上傳上去，而後使用OSS是提供的Jar連接來行使用。使用的時候也比較簡單，直接使用OSS提供的Jar連接，演示以下：

● 打開OSS控制檯，選擇在建立VVP時候使用的Bucket，再選擇目錄，點擊上傳文件，上傳時能夠將它的權限設置爲公共讀，點擊上傳文件即完成；
● 使用時，OSS控制檯上點擊已上傳包右側的「詳情」，獲取該Jar包的URL連接。

● 建立做業時，將jar包的URL的連接填入Jar URI，以下圖所示：

須要注意，OSS詳情頁面提供的連接是公網訪問的，開通的VVP並不能直接訪問公網，因此在建立做業使用HTTPS的時候，須要使用VPC訪問的endpoint（例如：https://vvp-training.oss-cn-s...），這樣才能正常的啓動做業。

若是想用公網獲取一個HTTPS的連接，怎麼操做呢？能夠首先對VVP進行公網打通，打通的操做流程能夠參考阿里雲幫助文檔中的《Flink 全託管集羣如何訪問公網》（https://help.aliyun.com/docum...），簡單來講步驟以下：

● 首先，建立一個NAT網關。建立時選擇「組合購買ERP」，而後選擇區域並補充名稱等信息，而後綁定彈性公網IP，完成建立；
● 其次，建立SNAT條目。建立好NAT以後，點擊「建立SNAT條目」，在彈窗選擇交換機並補充名稱信息，完成建立。

完成上述兩個步驟，該VVP實例就已經打通公網，在建立Deployment時就能夠直接使用https公網可訪問的jar包了。

2、在VVP平臺上 Flink 如何與典型數據源進行交互

這部介紹如何經過SQL以及connectors與外部的一些數據存儲系統進行交互，以SLS，Kafka做爲數據源讀寫數據爲例。

（實操演示）點擊SQL編輯器，建立一個Datagen Table，它是用於數據的隨機生成的，而後點擊運行。而後再點擊生成一個SLS Table，補充所需參數信息，而後點擊建立完成。

建立完成後，寫入SQL語句，好比insert into sls select id, name from datagen，而後另存後點擊運行，建立Deployment並啓動。

看成業成功運行後，在SLS上查詢數據。以下圖所示，說明datagen已經生成數據併成功寫入SLS。

相似的，咱們能夠按照上面的步驟從SLS讀數據而後寫入Kafka：

● 在vvp的sql編輯器頁面建立一個Kafka table
● 用SQL語法從SLS讀取數據寫入Kafka中並啓動
● 做業運行成功後，即開始從SLS讀數據寫入Kafka中

3、如何將VVP平臺上 Flink的指標打入外部Metrics系統

接下介紹若是想把運行做業的指標放入到一些系統當中去，並進行指標觀測。VVP提供了兩種方法：

方法一，VVP默認的將 Flink 做業指標打入到arms，不須要額外的處理，直接運行做業以後，就能經過指標按鈕看到，以下圖所示：

方法二，若是本身有指標系統，想把 Flink 的做業指標打入到本身的系統裏，主要有兩點：首先保證VVP上做業與本身指標系統網絡的連通性；其次在 Flink conf 中配置好相應的metrics reporter。以下圖所示，在建立做業過程當中，進行metric配置（metrics reporters配置參考：https://ci.apache.org/project...）：

例：使用premetheus的pushGateway方式，因此reporter class就選擇org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上圖所示配置pushGateway的port和host，Metric reporter就配置完成了。做業啓動成功後在配置好的grafana大盤上查看指標，以下例所示。

4、如何將Flink做業日誌打入到外部系統

若是在做業運行中，忽然運行失敗，咱們想要查看運行失敗做業的日誌，就須要把 Flink 做業的日誌保存下來。在VVP平臺爲這個目的提供了兩種方案，將Logs寫入OSS中或SLS中，簡單來講，在建立做業的時候， 在Log配置項裏面配置一些Log參數。

配置參考文檔：https://help.aliyun.com/docum...

方法一，將日誌寫入OSS中。在建立做業的時候，在高級配置中的Log配置裏，選擇使用用戶自定義，而後將（幫助文檔）裏面的配置放在自定義的配置中去，再將一些參數換成OSS的必要參數就能夠了。

須要查看日誌時，能夠經過幫助文檔的指導，找到日誌存放的文件，而後點擊下載查看。

方法二，將日誌寫入SLS中。與方法一相似，只是LOG配置項稍有差別；下載和查看方法與方法一一致。

做者：阿里雲實時計算Flink
原文連接 本文爲阿里雲原創內容，未經容許不得轉載