Flink 1.10 正式發佈！——與Blink集成完成，集成Hive，K8S

Apache Flink社區宣佈Flink 1.10.0正式發佈！

本次Release版本修復1.2K個問題，對Flink做業的總體性能和穩定性作了重大改進，同時增長了對K8S，Python的支持。

這個版本標誌着與Blink集成的完成，而且強化了流式SQL與Hive的集成，本文將詳細介紹新功能和主要的改進。

1、內存管理優化

原有TaskExecutor有一些缺點：

流處理和批處理用了不一樣的配置模型；

流處理的堆外配置RocksDB複雜，須要用戶配置；

爲了使內存管理更明確直觀，Flink 1.10對TaskExecutor內存模型和配置作了重大改進，這個更改使FLink更適合於各類部署環境：K8S，Yarn，Mesos。

這種更改統一了入口點，使得下游框架好比zeppelin的編程更加容易。

2、集成Kubernetes

這對於想要在容器中使用Flink的用戶是一個很是好的消息。

在Flink1.10中推出了Active Kubernetes集成

Flink的ResourceManager（K8sResMngr）與Kubernetes進行本地通訊以按需分配新的Pod，相似於Flink的Yarn和Mesos集成。用戶還能夠利用命名空間爲聚合資源消耗有限的多租戶環境啓動Flink集羣。事先配置具備足夠權限的RBAC角色和服務賬戶。

用戶能夠簡單地參考Kubernetes配置選項，而後使用如下命令在CLI中將做業提交到Kubernetes上的現有Flink會話：

./bin/flink run -d -e kubernetes-session -Dkubernetes.cluster-id=<ClusterId> examples/streaming/WindowJoin.jar

3、集成Hive

Flink 1.10經過開發將Hive集成到Flink，可用於生產環境。

而且支持大部分Hive版本，Flink支持Hive版本列表：

• 1.0

  • 1.0.0
  • 1.0.1

• 1.1

  • 1.1.0
  • 1.1.1

• 1.2

  • 1.2.0
  • 1.2.1
  • 1.2.2

• 2.0

  • 2.0.0
  • 2.0.1

• 2.1

  • 2.1.0
  • 2.1.1

• 2.2

  • 2.2.0

• 2.3

  • 2.3.0
  • 2.3.1
  • 2.3.2
  • 2.3.3
  • 2.3.4
  • 2.3.5
  • 2.3.6

• 3.1

  • 3.1.0
  • 3.1.1
  • 3.1.2

須要引入依賴

<!-- Flink Dependency -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hive_2.11</artifactId>
  <version>1.10.0</version>
  <scope>provided</scope>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-java-bridge_2.11</artifactId>
  <version>1.10.0</version>
  <scope>provided</scope>
</dependency>

<!-- Hive Dependency -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>${hive.version}</version>
    <scope>provided</scope>
</dependency>

鏈接Hive代碼

val settings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build()
val tableEnv = TableEnvironment.create(settings)

val name            = "myhive"
val defaultDatabase = "mydatabase"
val hiveConfDir     = "/opt/hive-conf" // a local path
val version         = "2.3.4"

val hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version)
tableEnv.registerCatalog("myhive", hive)

// set the HiveCatalog as the current catalog of the session
tableEnv.useCatalog("myhive")

4、PyFlink：支持UDF

從Flink 1.10開始，PyFlink開始支持UDF函數。

用戶還能夠pip使用如下方法輕鬆安裝PyFlink ：

pip install apache-flink

5、其餘重要變化

• Flink如今能夠編譯並在Java 11上運行。

• 一個新的Elasticsearch sink，徹底支持Elasticsearch 7.x版本。

• Kafka 0.8 和 0.9 版本已經被廢，再也不支持。

• 刪除了非認證網絡流量配置選項taskmanager.network.credit.model。

• 刪除了舊版Web UI。

6、貢獻者名單

最後咱們看一下貢獻者的名單，有不少國內大神的身影

Achyuth Samudrala, Aitozi, Alberto Romero, Alec.Ch, Aleksey Pak, Alexander Fedulov, Alice Yan, Aljoscha Krettek, Aloys, Andrey Zagrebin, Arvid Heise, Benchao Li, Benoit Hanotte, Benoît Paris, Bhagavan Das, Biao Liu, Chesnay Schepler, Congxian Qiu, Cyrille Chépélov, César Soto Valero, David Anderson, David Hrbacek, David Moravek, Dawid Wysakowicz, Dezhi Cai, Dian Fu, Dyana Rose, Eamon Taaffe, Fabian Hueske, Fawad Halim, Fokko Driesprong, Frey Gao, Gabor Gevay, Gao Yun, Gary Yao, GatsbyNewton, GitHub, Grebennikov Roman, GuoWei Ma, Gyula Fora, Haibo Sun, Hao Dang, Henvealf, Hongtao Zhang, HuangXingBo, Hwanju Kim, Igal Shilman, Jacob Sevart, Jark Wu, Jeff Martin, Jeff Yang, Jeff Zhang, Jiangjie (Becket) Qin, Jiayi, Jiayi Liao, Jincheng Sun, Jing Zhang, Jingsong Lee, JingsongLi, Joao Boto, John Lonergan, Kaibo Zhou, Konstantin Knauf, Kostas Kloudas, Kurt Young, Leonard Xu, Ling Wang, Lining Jing, Liupengcheng, LouisXu, Mads Chr. Olesen, Marco Zühlke, Marcos Klein, Matyas Orhidi, Maximilian Bode, Maximilian Michels, Nick Pavlakis, Nico Kruber, Nicolas Deslandes, Pablo Valtuille, Paul Lam, Paul Lin, PengFei Li, Piotr Nowojski, Piotr Przybylski, Piyush Narang, Ricco Chen, Richard Deurwaarder, Robert Metzger, Roman, Roman Grebennikov, Roman Khachatryan, Rong Rong, Rui Li, Ryan Tao, Scott Kidder, Seth Wiesman, Shannon Carey, Shaobin.Ou, Shuo Cheng, Stefan Richter, Stephan Ewen, Steve OU, Steven Wu, Terry Wang, Thesharing, Thomas Weise, Till Rohrmann, Timo Walther, Tony Wei, TsReaper, Tzu-Li (Gordon) Tai, Victor Wong, WangHengwei, Wei Zhong, WeiZhong94, Wind (Jiayi Liao), Xintong Song, XuQianJin-Stars, Xuefu Zhang, Xupingyong, Yadong Xie, Yang Wang, Yangze Guo, Yikun Jiang, Ying, YngwieWang, Yu Li, Yuan Mei, Yun Gao, Yun Tang, Zhanchun Zhang, Zhenghua Gao, Zhijiang, Zhu Zhu, a-suiniaev, azagrebin, beyond1920, biao.liub, blueszheng, bowen.li, caoyingjie, catkint, chendonglin, chenqi, chunpinghe, cyq89051127, danrtsey.wy, dengziming, dianfu, eskabetxe, fanrui, forideal, gentlewang, godfrey he, godfreyhe, haodang, hehuiyuan, hequn8128, hpeter, huangxingbo, huzheng, ifndef-SleePy, jiemotongxue, joe, jrthe42, kevin.cyj, klion26, lamber-ken, libenchao, liketic, lincoln-lil, lining, liuyongvs, liyafan82, lz, mans2singh, mojo, openinx, ouyangwulin, shining-huang, shuai-xu, shuo.cs, stayhsfLee, sunhaibotb, sunjincheng121, tianboxiu, tianchen, tianchen92, tison, tszkitlo40, unknown, vinoyang, vthinkxie, wangpeibin, wangxiaowei, wangxiyuan, wangxlong, wangyang0918, whlwanghailong, xuchao0903, xuyang1706, yanghua, yangjf2019, yongqiang chai, yuzhao.cyz, zentol, zhangzhanchum, zhengcanbin, zhijiang, zhongyong jin, zhuzhu.zz, zjuwangg, zoudaokoulife, 硯田, 謝磊, 張志豪, 曹建華

Flink系列文章：

Flink入門（一）——Apache Flink介紹
Flink入門（二）——Flink架構介紹

Flink入門（三）——環境與部署

Flink入門（四）——編程模型

更多實時計算,Flink,Kafka等相關技術博文，歡迎關注實時流式計算