flink詳細介紹

Flink是什麼

• Flink是一個分佈式計算引擎 MapReduce Spark Storm

  • 同時支持流計算和批處理

  • 和Spark不一樣, Flink是使用流的思想作批, Spark是採用作批的思想作流

• Flink的優點

  • 和Hadoop相比, Flink使用內存進行計算, 速度明顯更優

  • 和一樣使用內存的Spark相比, Flink對於流的計算是實時的, 延遲更低

  • 和一樣使用實時流的Storm相比, Flink明顯具備更優秀的API, 以及更多的支持, 而且支持批量計算

• 速度

  • 在單機上, Storm大概能達到30萬條/秒的吞吐量, 這個數據大概是Storm得3-5倍.在阿里中,Flink集羣能達到每秒能處理17億數據量,一天可處理上萬億條數據

  • 一天的數據量有多大?(數據的條數/數據佔用的磁盤空間)

  • 10億條數據,一條數據1KB 20億Kb 20 00GMB 6/億, 400G

  • 在單機上, Flink消息處理的延遲大概在200毫秒左右, 這個數據大概是Spark的3-5倍

Flink的發展示狀

14年Apache立爲頂級項目.阿里15年開始使用

• Flink在不少公司的生產環境中獲得了使用, 例如: ebay, 騰訊, 阿里, 亞馬遜, 華爲等

• Blink

Flink的母公司被阿里全資收購, 阿里一直致力於Flink在國內的推廣使用

Flink的適用場景

• 零售業和市場營銷(運營)

• 物聯網(5G,無限流量,延遲低/打遊戲,無人駕駛)

• 電信業,

• 銀行和金融業,

項目外包,人員外包

對比Flink、Spark、Storm

Flink、Spark Streaming、Storm均可以進行實時計算，但各有特色