快速構建第一個Flink工程

時間 2019-11-08

標籤快速構建第一個 flink 工程简体版

原文原文鏈接

本文簡述經過maven和gradle快速構建的Flink工程。建議安裝好Flink之後構建本身的Flink項目，安裝與示例運行請查看：Flink快速入門--安裝與示例運行.html

在安裝好Flink之後，只要快速構建Flink工程，並完成相關代碼開發，就能夠輕鬆入手Flink。java

構建工具

Flink項目可使用不一樣的構建工具進行構建。爲了可以快速入門，Flink 爲如下構建工具提供了項目模版：git

Maven
Gradle

這些模版能夠幫助你搭建項目結構並建立初始構建文件。github

Maven

環境要求

惟一的要求是使用 Maven 3.0.4 （或更高版本）和安裝 Java 8.x。apache

建立項目

使用如下命令之一來 建立項目：api

使用Maven archetypesbash

$ mvn archetype:generate                               \
      -DarchetypeGroupId=org.apache.flink              \
      -DarchetypeArtifactId=flink-quickstart-java      \
      -DarchetypeVersion=1.9.0複製代碼

運行quickstart腳本app

curl https://flink.apache.org/q/quickstart.sh | bash -s 1.9.0複製代碼

下載完成後，查看項目目錄結構：框架

tree quickstart/
quickstart/
├── pom.xml
└── src
    └── main
        ├── java
        │   └── org
        │       └── myorg
        │           └── quickstart
        │               ├── BatchJob.java
        │               └── StreamingJob.java
        └── resources
            └── log4j.properties複製代碼

示例項目是一個 Maven project，它包含了兩個類：StreamingJob 和 BatchJob 分別是 DataStream and DataSet 程序的基礎骨架程序。main 方法是程序的入口，既可用於IDE測試/執行，也可用於部署。eclipse

咱們建議你將 此項目導入IDE 來開發和測試它。IntelliJ IDEA 支持 Maven 項目開箱即用。若是你使用的是 Eclipse，使用m2e 插件能夠導入 Maven 項目。一些 Eclipse 捆綁包默認包含該插件，其餘狀況須要你手動安裝。

請注意：對 Flink 來講，默認的 JVM 堆內存可能過小，你應當手動增長堆內存。在 Eclipse 中，選擇 Run Configurations -> Arguments 並在 VM Arguments 對應的輸入框中寫入：-Xmx800m。在 IntelliJ IDEA 中，推薦從菜單 Help | Edit Custom VM Options 來修改 JVM 選項。

構建項目

若是你想要 構建/打包你的項目，請在項目目錄下運行 ‘mvn clean package’ 命令。命令執行後，你將 找到一個JAR文件，裏面包含了你的應用程序，以及已做爲依賴項添加到應用程序的鏈接器和庫：target/-.jar。

注意： 若是你使用其餘類而不是 StreamingJob 做爲應用程序的主類/入口，咱們建議你相應地修改 pom.xml 文件中的 mainClass 配置。這樣，Flink 能夠從 JAR 文件運行應用程序，而無需另外指定主類。

Gradle

環境要求

惟一的要求是使用 Gradle 3.x (或更高版本) 和安裝 Java 8.x 。

建立項目

使用如下命令之一來 建立項目：

Gradle示例：

build.gradle

buildscript {
    repositories {
        jcenter() // this applies only to the Gradle 'Shadow' plugin
    }
    dependencies {
        classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.4'
    }
}

plugins {
    id 'java'
    id 'application'
    // shadow plugin to produce fat JARs
    id 'com.github.johnrengelman.shadow' version '2.0.4'
}


// artifact properties
group = 'org.myorg.quickstart'
version = '0.1-SNAPSHOT'
mainClassName = 'org.myorg.quickstart.StreamingJob'
description = """Flink Quickstart Job"""

ext {
    javaVersion = '1.8'
    flinkVersion = '1.9.0'
    scalaBinaryVersion = '2.11'
    slf4jVersion = '1.7.7'
    log4jVersion = '1.2.17'
}


sourceCompatibility = javaVersion
targetCompatibility = javaVersion
tasks.withType(JavaCompile) {
    options.encoding = 'UTF-8'
}

applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]

task wrapper(type: Wrapper) {
    gradleVersion = '3.1'
}

// declare where to find the dependencies of your project
repositories {
    mavenCentral()
    maven { url "https://repository.apache.org/content/repositories/snapshots/" }
}

// 注意：咱們不能使用 "compileOnly" 或者 "shadow" 配置，這會使咱們沒法在 IDE 中或經過使用 "gradle run" 命令運行代碼。
// 咱們也不能從 shadowJar 中排除傳遞依賴（請查看 https://github.com/johnrengelman/shadow/issues/159)。
// -> 顯式定義咱們想要包含在 "flinkShadowJar" 配置中的類庫!
configurations {
    flinkShadowJar // dependencies which go into the shadowJar

    // 老是排除這些依賴（也來自傳遞依賴），由於 Flink 會提供這些依賴。
    flinkShadowJar.exclude group: 'org.apache.flink', module: 'force-shading'
    flinkShadowJar.exclude group: 'com.google.code.findbugs', module: 'jsr305'
    flinkShadowJar.exclude group: 'org.slf4j'
    flinkShadowJar.exclude group: 'log4j'
}

// declare the dependencies for your production and test code
dependencies {
    // --------------------------------------------------------------
    // 編譯時依賴不該該包含在 shadow jar 中，
    // 這些依賴會在 Flink 的 lib 目錄中提供。
    // --------------------------------------------------------------
    compile "org.apache.flink:flink-java:${flinkVersion}"
    compile "org.apache.flink:flink-streaming-java_${scalaBinaryVersion}:${flinkVersion}"

    // --------------------------------------------------------------
    // 應該包含在 shadow jar 中的依賴，例如：鏈接器。
    // 它們必須在 flinkShadowJar 的配置中！
    // --------------------------------------------------------------
    //flinkShadowJar "org.apache.flink:flink-connector-kafka-0.11_${scalaBinaryVersion}:${flinkVersion}"

    compile "log4j:log4j:${log4jVersion}"
    compile "org.slf4j:slf4j-log4j12:${slf4jVersion}"

    // Add test dependencies here.
    // testCompile "junit:junit:4.12"
}

// make compileOnly dependencies available for tests:
sourceSets {
    main.compileClasspath += configurations.flinkShadowJar
    main.runtimeClasspath += configurations.flinkShadowJar

    test.compileClasspath += configurations.flinkShadowJar
    test.runtimeClasspath += configurations.flinkShadowJar

    javadoc.classpath += configurations.flinkShadowJar
}

run.classpath = sourceSets.main.runtimeClasspath

jar {
    manifest {
        attributes 'Built-By': System.getProperty('user.name'),
                'Build-Jdk': System.getProperty('java.version')
    }
}

shadowJar {
    configurations = [project.configurations.flinkShadowJar]
}複製代碼

setting.gradle

rootProject.name = 'quickstart'複製代碼

或者運行quickstart腳本

bash -c "$(curl https://flink.apache.org/q/gradle-quickstart.sh)" -- 1.9.0 2.11複製代碼

查看目錄結構：

tree quickstart/
quickstart/
├── README
├── build.gradle
├── settings.gradle
└── src
    └── main
        ├── java
        │   └── org
        │       └── myorg
        │           └── quickstart
        │               ├── BatchJob.java
        │               └── StreamingJob.java
        └── resources
            └── log4j.properties複製代碼

示例項目是一個 Gradle 項目，它包含了兩個類：StreamingJob 和 BatchJob 是 DataStream 和 DataSet 程序的基礎骨架程序。main 方法是程序的入口，便可用於IDE測試/執行，也可用於部署。

咱們建議你將 此項目導入你的 IDE 來開發和測試它。IntelliJ IDEA 在安裝 Gradle 插件後支持 Gradle 項目。Eclipse 則經過 Eclipse Buildship 插件支持 Gradle 項目（鑑於 shadow 插件對 Gradle 版本有要求，請確保在導入嚮導的最後一步指定 Gradle 版本 >= 3.0）。你也可使用 Gradle’s IDE integration 從 Gradle 建立項目文件。