天天看點

滾動視窗

本頁目錄

滾動視窗(TUMBLE)将每個元素配置設定到一個指定大小的視窗中。通常滾動視窗有一個固定的大小,并且不會出現重疊。

例如:如果指定了一個5分鐘大小的滾動視窗,無限流的資料會根據時間劃分成[0:00 - 0:05), [0:05, 0:10), [0:10, 0:15),… 等視窗。如下圖,展示了一個大小劃分為30秒的滾動視窗。

滾動視窗

TUMBLE函數用在GROUP BY子句中,用來定義滾動視窗。

  1. TUMBLE(<time-attr>, <size-interval>)

  2. <size-interval>: INTERVAL 'string' timeUnit

<time-attr>

 參數必須是流中的一個合法的時間屬性字段,指定 processing time 或是 event time。

您可以參考 

時間屬性

章節,了解如何定義時間屬性和watermark。

辨別函數

使用辨別函數選出視窗的起始時間或者結束時間,視窗的時間屬性用于下級window的聚合。

視窗辨別函數 傳回類型 描述
TUMBLE_START(time-attr, size-interval) Timestamp 傳回視窗的起始時間(包含邊界)。如[00:10, 00:15) 的視窗,傳回 00:10 。
TUMBLE_END(time-attr, size-interval) 傳回視窗的結束時間(包含邊界)。如[00:00, 00:15] 的視窗,傳回 00:15。
TUMBLE_ROWTIME(time-attr, size-interval) Timestamp(rowtime-attr) 傳回視窗的結束時間(不包含邊界)。如 [00:00, 00:15] 的視窗,傳回 

00:14:59.999

 。傳回值是一個 rowtime attribute,即可以基于該字段做時間類型的操作,如級聯視窗。

統計每個使用者每分鐘的點選次數。

  1. CREATE TABLE user_clicks(

  2. username varchar,

  3. click_url varchar,

  4. ts timeStamp,

  5. WATERMARK wk FOR ts as withOffset(ts, 2000) -- 為rowtime定義watermark

  6. ) with (

  7. type='datahub',

  8. ...

  9. );

  10. CREATE TABLE tumble_output(

  11. window_start TIMESTAMP,

  12. window_end TIMESTAMP,

  13. username VARCHAR,

  14. clicks BIGINT

  15. ) with (

  16. type='RDS'

  17. );

  18. INSERT INTO tumble_output

  19. SELECT

  20. TUMBLE_START(ts, INTERVAL '1' MINUTE),

  21. TUMBLE_END(ts, INTERVAL '1' MINUTE),

  22. username,

  23. COUNT(click_url)

  24. FROM window_input

  25. GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username

測試資料

username (VARCHAR) click_url (VARCHAR) ts (TIMESTAMP)
Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
2017-10-10 10:00:10.0
2017-10-10 10:00:49.0
2017-10-10 10:01:05.0
2017-10-10 10:01:58.0
Timo 2017-10-10 10:02:10.0

測試結果

window_start (TIMESTAMP) window_end (TIMESTAMP) clicks (BIGINT)
2017-10-10 10:01:00.0 3
2017-10-10 10:02:00.0 2
2017-10-10 10:03:00.0 1

本文轉自實時計算——

滾動視窗
上一篇: &gt;=
下一篇: &lt;=

繼續閱讀