整合 Tachyon 運行 Apache Flink（譯）

整合 Tachyon 運行 Apache Flink

本人詳述瞭如何基於Tachyon 運行 Apache Flink, 這樣在 Tachyon 中能夠很便捷的處理文件存儲。

前提

首先，得存在 Java 環境。 咱們也假設你已經根據 Local Mode 或 Cluster Mode 指導安裝了 Tachyon 和 Flink 。

請在 Apache Flink  website 查找指導設置Flink。

配置

Apache Flink 容許經過文件系統包裝Hadoop文件系統使用Tachyon。全部，配置Tachyonn主要是在 Hadoop 配置文件中。

在 core-site.xml 配置屬性

若是你已經有 Hadoop 配置，接下來 Flink 安裝，添加以下屬性在 core-site.xml 配置文件：

<property>
    <name>fs.tachyon.impl</name>
    <value>tachyon.hadoop.TFS</value>
</property>

若是你沒有配置 hadoop，你必需要建立 core-site.xml 而且添加下面的Property：

<configuration>
    <property>
        <name>fs.tachyon.impl</name>
        <value>tachyon.hadoop.TFS</value>
    </property>
</configuration>

確保 core-site.xml 的路徑在 conf/flink-config.yaml

接下來，你必須在在Flink中指定Hadoop配置的路徑， 在 Flink 根目錄下打開 conf/flink-config.yaml, 到含有 core-site.xml   directory  設置配置 fs.hdfs.hadoopconf 的值。在 Hadoop 更新版本中，該目錄一般以 etc/hadoop/ 結尾。

確保 Flink 對於 tachyon-0.7.1.jar 是可用的

在最後一步中，咱們須要確保 Tachyon jar 文件對於 Flink 是可用的，由於它包含 tachyon.hadoop.TFS 類的配置。

有如下幾種不一樣方式來實現：

• 將 tachyon-0.7.1.jar 文件放入Flink 的 lib/ 的目錄下 (爲本地和僞集羣配置）

• 將 tachyon-0.7.1.jar 文件放入Flink 對於 YARN 的 ship/ 目錄下

• 在HADOOP_CLASSPAH 環境變量中指定 jar 文件位置 (確保全部集羣節點都是可用的). 例如像這樣：

  export HADOOP_CLASSPATH=/pathToTachyon/client/target/tachyon-client-0.7.1-jar-with-dependencies.jar


結合Tachyon 使用 Flink

爲告終合 Tachyon 使用 Flink，僅僅須要使用 tachyon://scheme 。

若是Tachyon是本地安裝，有效的路徑是相似這樣：tachyon://localhost:19998/user/hduser/gutenberg。