Flink學習--Flink SQL 窗口函數

時間  2021-02-14
標籤 java git github sql 數據庫 apache api ide 函數 欄目 SQL 简体版
原文   原文鏈接

flink窗口函數包含滾動窗口、滑動窗口、會話窗口和OVER窗口java

滾動窗口

滾動窗口（TUMBLE）將每一個元素分配到一個指定大小的窗口中。一般，滾動窗口有一個固定的大小，而且不會出現重疊。例如，若是指定了一個5分鐘大小的滾動窗口，無限流的數據會根據時間劃分爲[0:00 - 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。下圖展現了一個30秒的滾動窗口。

使用標識函數選出窗口的起始時間或者結束時間，窗口的時間屬性用於下級Window的聚合。git

窗口標識函數 返回類型 描述
TUMBLE_START(time-attr, size-interval) TIMESTAMP 返回窗口的起始時間（包含邊界）。例如[00:10, 00:15) 窗口，返回00:10 。
TUMBLE_END(time-attr, size-interval) TIMESTAMP 返回窗口的結束時間（包含邊界）。例如[00:00, 00:15]窗口，返回00:15。
TUMBLE_ROWTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的結束時間（不包含邊界）。例如[00:00, 00:15]窗口，返回00:14:59.999 。返回值是一個rowtime attribute，便可以基於該字段作時間屬性的操做，例如，級聯窗口只能用在基於Event Time的Window上
TUMBLE_PROCTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的結束時間（不包含邊界）。例如[00:00, 00:15]窗口，返回00:14:59.999。返回值是一個proctime attribute，便可以基於該字段作時間屬性的操做，例如，級聯窗口只能用在基於Processing Time的Window上

TUMBLE window示例github

import org.apache.flink.api.common.typeinfo.TypeHint;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;


import java.sql.Timestamp;
import java.util.Arrays;

public class TumbleWindowExample {

    public static void main(String[] args) throws Exception {

        /**
         * 1 註冊環境
         */
        EnvironmentSettings mySetting = EnvironmentSettings
                .newInstance()
//                .useOldPlanner()
                .useBlinkPlanner()
                .inStreamingMode()
                .build();

        // 獲取 environment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 指定系統時間概念爲 event time
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        StreamTableEnvironment tEnv = StreamTableEnvironment.create(env,mySetting);


        // 初始數據
        DataStream<Tuple3<Long, String,Integer>> log = env.fromCollection(Arrays.asList(
                //時間 14:53:00
                new Tuple3<>(1572591180_000L,"xiao_ming",300),
                //時間 14:53:09
                new Tuple3<>(1572591189_000L,"zhang_san",303),
                //時間 14:53:12
                new Tuple3<>(1572591192_000L, "xiao_li",204),
                //時間 14:53:21
                new Tuple3<>(1572591201_000L,"li_si", 208)
                ));

        // 指定時間戳
        SingleOutputStreamOperator<Tuple3<Long, String, Integer>> logWithTime = log.assignTimestampsAndWatermarks(new AscendingTimestampExtractor<Tuple3<Long, String, Integer>>() {

            @Override
            public long extractAscendingTimestamp(Tuple3<Long, String, Integer> element) {
                return element.f0;
            }
        });

        // 轉換爲 Table
        Table logT = tEnv.fromDataStream(logWithTime, "t.rowtime, name, v");

        Table result = tEnv.sqlQuery("SELECT TUMBLE_START(t, INTERVAL '10' SECOND) AS window_start," +
                "TUMBLE_END(t, INTERVAL '10' SECOND) AS window_end, SUM(v) FROM "
                + logT + " GROUP BY TUMBLE(t, INTERVAL '10' SECOND)");

        TypeInformation<Tuple3<Timestamp,Timestamp,Integer>> tpinf = new TypeHint<Tuple3<Timestamp,Timestamp,Integer>>(){}.getTypeInfo();
        tEnv.toAppendStream(result, tpinf).print();

        env.execute();
    }


}

sql邏輯，每十秒鐘聚合
執行結果：
(2019-11-01 06:53:00.0,2019-11-01 06:53:10.0,603)
(2019-11-01 06:53:20.0,2019-11-01 06:53:30.0,208)
(2019-11-01 06:53:10.0,2019-11-01 06:53:20.0,204)sql

滑動窗口

滑動窗口（HOP），也被稱做Sliding Window。不一樣於滾動窗口，滑動窗口的窗口能夠重疊。數據庫

滑動窗口有兩個參數：slide和size。slide爲每次滑動的步長，size爲窗口的大小。apache

  • slide < size，則窗口會重疊，每一個元素會被分配到多個窗口。
  • slide = size，則等同於滾動窗口（TUMBLE）。
  • slide > size，則爲跳躍窗口，窗口之間不重疊且有間隙。

一般，大部分元素符合多個窗口情景，窗口是重疊的。所以，滑動窗口在計算移動平均數（moving averages）時很實用。例如，計算過去5分鐘數據的平均值，每10秒鐘更新一次，能夠設置slide爲10秒，size爲5分鐘。下圖爲您展現間隔爲30秒，窗口大小爲1分鐘的滑動窗口。api

滑動窗口

使用滑動窗口標識函數選出窗口的起始時間或者結束時間，窗口的時間屬性用於下級Window的聚合。ide

窗口標識函數 返回類型 描述
HOP_START（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP 返回窗口的起始時間（包含邊界）。例如[00:10, 00:15) 窗口，返回00:10 。
HOP_END（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP 返回窗口的結束時間（包含邊界）。例如[00:00, 00:15) 窗口，返回00:15。
HOP_ROWTIME（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP（rowtime-attr） 返回窗口的結束時間（不包含邊界）。例如[00:00, 00:15) 窗口，返回00:14:59.999。返回值是一個rowtime attribute，便可以基於該字段作時間類型的操做，只能用在基於event time的window上。
HOP_PROCTIME（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP（rowtime-attr） 返回窗口的結束時間（不包含邊界）。例如[00:00, 00:15) 窗口，返回00:14:59.999 。返回值是一個proctime attribute

滑動窗口實例：
java代碼同上，sql語句改成：函數

SELECT HOP_START(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND) AS window_start," +
                "HOP_END(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND) AS window_end, SUM(v) FROM "
                + logT + " GROUP BY HOP(t, INTERVAL '5' SECOND, INTERVAL '10' SECOND)

每間隔5秒統計10秒內的數據
sql結果以下：
(2019-11-01 06:53:15.0,2019-11-01 06:53:25.0,208)
(2019-11-01 06:53:10.0,2019-11-01 06:53:20.0,204)
(2019-11-01 06:53:05.0,2019-11-01 06:53:15.0,507)
(2019-11-01 06:53:20.0,2019-11-01 06:53:30.0,208)
(2019-11-01 06:53:00.0,2019-11-01 06:53:10.0,603)
(2019-11-01 06:52:55.0,2019-11-01 06:53:05.0,300)ui

會話窗口

會話窗口（SESSION）經過Session活動來對元素進行分組。會話窗口與滾動窗口和滑動窗口相比，沒有窗口重疊，沒有固定窗口大小。相反，當它在一個固定的時間週期內再也不收到元素，即會話斷開時，這個窗口就會關閉。

會話窗口經過一個間隔時間（Gap）來配置，這個間隔定義了非活躍週期的長度。例如，一個表示鼠標點擊活動的數據流可能具備長時間的空閒時間，並在兩段空閒之間散佈着高濃度的點擊。 若是數據在指定的間隔（Gap）以後到達，則會開始一個新的窗口。

會話窗口示例以下圖。每一個Key因爲不一樣的數據分佈，造成了不一樣的Window。


使用標識函數選出窗口的起始時間或者結束時間，窗口的時間屬性用於下級Window的聚合。

窗口標識函數 返回類型 描述
SESSION_START（<time-attr>, <gap-interval>） Timestamp 返回窗口的起始時間（包含邊界）。如[00:10, 00:15) 的窗口，返回 00:10 ，即爲此會話窗口內第一條記錄的時間。
SESSION_END（<time-attr>, <gap-interval>） Timestamp 返回窗口的結束時間（包含邊界）。如[00:00, 00:15) 的窗口，返回 00:15，即爲此會話窗口內最後一條記錄的時間+<gap-interval>。
SESSION_ROWTIME（<time-attr>, <gap-interval>） Timestamp（rowtime-attr） 返回窗口的結束時間（不包含邊界）。如 [00:00, 00:15) 的窗口，返回00:14:59.999 。返回值是一個rowtime attribute，也就是能夠基於該字段進行時間類型的操做。該參數只能用於基於event time的window 。
SESSION_PROCTIME（<time-attr>, <gap-interval>） Timestamp（rowtime-attr） 返回窗口的結束時間（不包含邊界）。如 [00:00, 00:15) 的窗口，返回 00:14:59.999 。返回值是一個 proctime attribute，也就是能夠基於該字段進行時間類型的操做。該參數只能用於基於processing time的window 。

會話窗口實例：
java代碼同上
sql語句以下：
每隔5秒聚合

"SELECT SESSION_START(t, INTERVAL '5' SECOND) AS window_start," +
                "SESSION_END(t, INTERVAL '5' SECOND) AS window_end, SUM(v) FROM "
                + logT + " GROUP BY SESSION(t, INTERVAL '5' SECOND)"

sql結果：

(2019-11-01 06:53:21.0,2019-11-01 06:53:26.0,208)
(2019-11-01 06:53:00.0,2019-11-01 06:53:05.0,300)
(2019-11-01 06:53:09.0,2019-11-01 06:53:17.0,507)

OVER窗口

OVER窗口（OVER Window）是傳統數據庫的標準開窗，不一樣於Group By Window，OVER窗口中每1個元素都對應1個窗口。窗口內的元素是當前元素往前多少個或往前多長時間的元素集合，所以流數據元素分佈在多個窗口中。

在應用OVER窗口的流式數據中，每1個元素都對應1個OVER窗口。每1個元素都觸發1次數據計算，每一個觸發計算的元素所肯定的行，都是該元素所在窗口的最後1行。在實時計算的底層實現中，OVER窗口的數據進行全局統一管理（數據只存儲1份），邏輯上爲每1個元素維護1個OVER窗口，爲每1個元素進行窗口計算，完成計算後會清除過時的數據。

Flink SQL中對OVER窗口的定義遵循標準SQL的定義語法，傳統OVER窗口沒有對其進行更細粒度的窗口類型命名劃分。按照計算行的定義方式，OVER Window能夠分爲如下兩類：

  • ROWS OVER Window：每一行元素都被視爲新的計算行，即每一行都是一個新的窗口。
  • RANGE OVER Window：具備相同時間值的全部元素行視爲同一計算行，即具備相同時間值的全部行都是同一個窗口。

Rows OVER Window語義

窗口數據

ROWS OVER Window的每一個元素都肯定一個窗口。ROWS OVER Window分爲Unbounded（無界流）和Bounded（有界流）兩種狀況。
Unbounded ROWS OVER Window數據示例以下圖所示。

雖然上圖所示窗口user1的w七、w8及user2的窗口w三、w4都是同一時刻到達，但它們仍然在不一樣的窗口，這一點與RANGE OVER Window不一樣。

Bounded ROWS OVER Window數據以3個元素（往前2個元素）的窗口爲例，以下圖所示。

雖然上圖所示窗口user1的w五、w6及user2的窗口w一、w2都是同一時刻到達，但它們仍然在不一樣的窗口，這一點與RANGE OVER Window不一樣。

RANGE OVER Window語義

窗口數據

RANGE OVER Window全部具備共同元素值（元素時間戳）的元素行肯定一個窗口，RANGE OVER Window分爲Unbounded和Bounded的兩種狀況。
Unbounded RANGE OVER Window數據示例以下圖所示。


上圖所示窗口user1的w七、user2的窗口w3，兩個元素同一時刻到達，屬於相同的window，這一點與ROWS OVER Window不一樣。

Bounded RANGE OVER Window數據，以3秒中數據(INTERVAL '2' SECOND)的窗口爲例，以下圖所示。

上圖所示窗口user1的w六、user2的窗口w3，元素都是同一時刻到達，屬於相同的window，這一點與ROWS OVER Window不一樣。

OVER窗口實例：
java代碼同上
初始數據以下：

// 初始數據
        DataStream<Tuple3<Long, String,Integer>> log = env.fromCollection(Arrays.asList(
                //時間 14:53:00
                new Tuple3<>(1572591180_000L,"xiao_ming",999),
                //時間 14:53:09
                new Tuple3<>(1572591189_000L,"zhang_san",303),
                //時間 14:53:12
                new Tuple3<>(1572591192_000L, "xiao_li",888),
                //時間 14:53:21
                new Tuple3<>(1572591201_000L,"li_si", 908),
                //2019-11-01 14:53:31
                new Tuple3<>(1572591211_000L,"li_si", 555),
                //2019-11-01 14:53:41
                new Tuple3<>(1572591221_000L,"zhang_san", 666),
                //2019-11-01 14:53:51
                new Tuple3<>(1572591231_000L,"xiao_ming", 777),
                //2019-11-01 14:54:01
                new Tuple3<>(1572591241_000L,"xiao_ming", 213),
                //2019-11-01 14:54:11
                new Tuple3<>(1572591251_000L,"zhang_san", 300),
                //2019-11-01 14:54:21
                new Tuple3<>(1572591261_000L,"li_si", 112)
        ));

ROWS over Windown sql語句以下：

"SELECT name,v,MAX(v) OVER(\n" +
                "PARTITION BY name \n" +
                "ORDER BY t \n" +
                "ROWS BETWEEN 2 PRECEDING AND CURRENT ROW\n" +
                ") FROM " + logT

sql結果以下：
(zhang_san,303,303)
(xiao_li,888,888)
(li_si,908,908)
(xiao_ming,999,999)
(zhang_san,666,666)
(li_si,555,908)
(xiao_ming,777,999)
(li_si,112,908)
(zhang_san,300,666)
(xiao_ming,213,999)

RANGE OVER Window sql 語句以下：

"SELECT name,v,MAX(v) OVER(\n" +
                "PARTITION BY name \n" +
                "ORDER BY t \n" +
                "RANGE BETWEEN INTERVAL '15' SECOND PRECEDING AND CURRENT ROW\n" +
                ") FROM "+ logT

sql結果以下：
(xiao_ming,999,999)
(xiao_li,888,888)
(zhang_san,303,303)
(li_si,908,908)
(li_si,555,908)
(xiao_ming,777,777)
(zhang_san,666,666)
(li_si,112,112)
(xiao_ming,213,777)
(zhang_san,300,300)

本文的java代碼來自：
https://github.com/CheckChe08...侵刪

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程