天天看點

Composite 聚合——Elasticsearch 聚合後分頁新實作

Composite 聚合——Elasticsearch 聚合後分頁新實作

标題:如“9秒98!蘇炳添百米決賽第六!銘記這個曆史瞬間!",隸屬:新聞的标題。

相似文章數:如 26,需要借助:實時聚合實作。

翻頁:向後翻頁或随機翻頁。

顯然,傳統的from + size 分頁檢索不支援聚合後分頁,已不能滿足需求。

在【Elasticsearch聚合後分頁深入詳解】博文中,我探讨過聚合後分頁查詢的實作,核心方法是:需要借助程式自己實作。

那是 2018 年的博文,3.5 年後的 2021年,有沒有新的實作方式呢?

2、聚合後分頁新的實作

實際在 Elasticsearch 6.1 版本(2017年12月13日 釋出)就推出了:Composite 聚合方式,能實作聚合後分頁查詢。

2.0 認知前提——單桶聚合&多桶聚合

一圖勝千言。以如下圖示,代表聚合之前的原始資料,無需過多解釋,大家一看就明白。

Composite 聚合——Elasticsearch 聚合後分頁新實作

name:product_0*: 産品名稱;

color:顔色;

pt:釋出時間;

brand:品牌;

price:價格。

資料模組化如下:

PUT my-products

{

 "mappings": {

   "properties": {

     "brand": {

       "type": "keyword"

     },

     "pt": {

       "type": "date"

     "name": {

     "color": {

     "price":{

       "type":"integer"

     }

   }

 }

}

批量寫入資料如下:

PUT my-products/_bulk

{"index":{"_id":1}}

{"brand":"nike","pt":"2021-01-01","name":"product_01","color":"red","price":600}

{"index":{"_id":2}}

{"brand":"grke","pt":"2021-02-01","name":"product_02","color":"red","price":200}

{"index":{"_id":3}}

{"brand":"lining","pt":"2021-03-01","name":"product_03","color":"green","price":300}

{"index":{"_id":4}}

{"brand":"lining","pt":"2021-02-01","name":"product_04","color":"green","price":450}

{"index":{"_id":5}}

{"brand":"grke","pt":"2021-04-01","name":"product_05","color":"blue","price":180}

{"index":{"_id":6}}

{"brand":"grke","pt":"2021-02-01","name":"product_06","color":"yellow","price":165}

{"index":{"_id":7}}

{"brand":"grke","pt":"2021-02-01","name":"product_07","color":"yellow":"price":190}

{"index":{"_id":8}}

{"brand":"lining","pt":"2021-04-01","name":"product_08","color":"blue","price":500}

{"index":{"_id":9}}

{"brand":"nike","pt":"2021-01-01","name":"product_09","color":"blue","price":1000}

2.0.1 單桶聚合

terms 單桶聚合結果如下:

以品牌類别聚合

Composite 聚合——Elasticsearch 聚合後分頁新實作

實作如下:

POST my-products/_search

 "size": 0,

 "aggs": {

   "brand_terms": {

     "terms": {

       "field": "brand",

       "size": 10

按照顔色、日期實作方式一緻,不再贅述。

以顔色聚合

Composite 聚合——Elasticsearch 聚合後分頁新實作
  • 以日期聚合
Composite 聚合——Elasticsearch 聚合後分頁新實作

2.0.2 多桶聚合

Elastic search 支援 multi-terms 多桶聚合。

multi-terms 是 terms 聚合的引申,terms 支援 單個關鍵字的聚合,而multi-terms 顧名思義——多個關鍵字的聚合。

舉例:multi-terms 按照品牌、顔色兩個桶聚合如下:

Composite 聚合——Elasticsearch 聚合後分頁新實作

多桶聚合實作如下:

GET my-products/_search

 "size":0,

   "brands_and_colors_aggs": {

     "multi_terms": {

       "terms": [

         {

           "field": "brand"

         },

           "field": "color"

         }

       ]

多桶聚合傳回結果如下:

Composite 聚合——Elasticsearch 聚合後分頁新實作

這時候,不免會有問題,如果想按照品牌和價格區間(histogram)或日期區間(date_histogram) 實作聚合統計分析,該如何實作呢?

顯然,multi-terms 聚合隻支援:多個 terms 聚合操作,是不能滿足需求的。

而,Composite 組合聚合應運而生,巧妙的解決了如上組合聚合問題。

2.1 Composite 聚合介紹

2.1.1 Composite 聚合定義

Composite 是個六級詞彙,含義:并合的,複合的,混成的,合成的,內建的。

Composite 聚合是一種多桶聚合,可從不同來源建立複合桶。

具體哪些不同源呢?主要支援的聚合方式如下:

Terms 特定關鍵字聚合

Histogram 區間聚合

Date histogram 日期區間聚合

GeoTile grid Geo地理位置聚合

與其他多桶聚合不同,使用 Composite 聚合有效地對多級聚合( multi-level )中的所有桶進行分頁。Composite 聚合提供了一種流式傳輸特定聚合的所有桶的方法,類似于Scroll 檢索(滾動檢索,适用于全量查詢資料的業務場景)的實作。

關于Scroll 檢索推薦閱讀:

幹貨 | 全方位深度解讀 Elasticsearch 分頁查詢

Composite 聚合是根據為每個文檔提取/建立的值的組合建構的,每個組合都被視為一個複合桶(2.1.3 會詳細舉例什麼是複合桶)。

2.1.2 Composite 聚合的核心功能

Composite 聚合較其他聚合的核心不同點如下:

支援多類型組合桶聚合。打破傳統多桶單類型聚合的壁壘,支援:Terms、Histogram、Data histogram、GeoTile grid Geo 聚合。

支援聚合後分頁。類似:scroll 檢索的,僅支援向後翻頁,不支援随機翻頁。

2.1.3 Composite 聚合文法

Composite 文法參考如下:

   "my_buckets": {

     "composite": {

       "size": 5,

       "sources": [

           "brand_terms": {

             "terms": {

               "field": "brand",

               "order": "asc"

             }

           }

           "prices_histogram": {

             "histogram": {

               "field": "price",

               "interval": 50,

       ],

       "after": {

         "brand_terms": "lining",

         "prices_histogram": 500

       }

sources:指定組合分桶裡各個分桶檢索語句,可以是一個或者多個(中括弧裡面包含多個大括弧子分桶聚合語句)。

size:每次傳回的結果數。

after:翻頁使用,每一次檢索都會有一個:“after_key”鍵值對組合,供下次檢索使用。

複合桶:{ "brand_terms": "lining",  "prices_histogram": 500 } 實則為:品牌和價格區間兩者組成的複合桶。

order:分桶内的排序方式。

3、Composite 聚合後分頁實戰演練

有了上面的分析,再來看Composite 聚合會非常輕松。

拿 2.0 小節的模組化資料為示例。

假定需要實作:基于時間區間間隔一個月為機關,且基于品牌名稱兩個組合桶聚合,然後各個組合桶内實作聚合統計各個組合桶的平均價格。

拆解如下:

第一:組合桶。

分桶一:data_histogram 實作按照釋出時間間隔周期(指定為1個月)的聚合。

分桶二:terms 品牌聚合。

第二:基于組合桶實作各個組合桶平均價格的統計。

通過組合名額聚合 avg aggregation 實作組合桶内求平均值的子聚合效果。

       "size":5,

           "date": {

             "date_histogram": {

               "field": "pt",

               "calendar_interval": "1m",

               "order": "desc",

               "time_zone": "Asia/Shanghai"

           "product": {

               "field": "brand"

     "aggregations": {

       "the_avg": {

         "avg": {

           "field": "price"

傳回結果如下:

Composite 聚合——Elasticsearch 聚合後分頁新實作

說好的聚合後分頁呢?

就是在上面語句的後面,執行下一頁翻頁的時候,加上上一頁傳回的“after_key”值(對應如下代表标紅:“after”部分)即可。

         "date": 1612137600000,

         "product": "lining"

在生産環境隻需要将上述内容拼成java 或者 python 代碼,實作向後翻頁。

4、Composite 聚合注意事項

Composite 聚合僅能實作向後翻頁,不支援随機翻頁。

Composite 聚合目前與管道(pipeline)聚合(基于聚合結果的子聚合方式)不相容,在大多數情況下也沒有意義(會導緻結果不準确)。

5、小結

本文重點講述了聚合後分頁的新實作方式——Composite 聚合,說新其實是較6.1 版本之前的自己實作的方式而言。

Composite 聚合的兩大核心特點:組合桶(支援四種類型)聚合、聚合後分頁。

您的實戰環節有用到聚合後分頁嗎?如何實作的呢?歡迎留言交流細節。

參考

1.

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html

2.

https://github.com/elastic/elasticsearch/pull/26800

3.

https://ramyav.medium.com/composite-aggregation-using-java-api-38882cabc886