标題:如“9秒98!蘇炳添百米決賽第六!銘記這個曆史瞬間!",隸屬:新聞的标題。
相似文章數:如 26,需要借助:實時聚合實作。
翻頁:向後翻頁或随機翻頁。
顯然,傳統的from + size 分頁檢索不支援聚合後分頁,已不能滿足需求。
在【Elasticsearch聚合後分頁深入詳解】博文中,我探讨過聚合後分頁查詢的實作,核心方法是:需要借助程式自己實作。
那是 2018 年的博文,3.5 年後的 2021年,有沒有新的實作方式呢?
2、聚合後分頁新的實作
實際在 Elasticsearch 6.1 版本(2017年12月13日 釋出)就推出了:Composite 聚合方式,能實作聚合後分頁查詢。
2.0 認知前提——單桶聚合&多桶聚合
一圖勝千言。以如下圖示,代表聚合之前的原始資料,無需過多解釋,大家一看就明白。
name:product_0*: 産品名稱;
color:顔色;
pt:釋出時間;
brand:品牌;
price:價格。
資料模組化如下:
PUT my-products
{
"mappings": {
"properties": {
"brand": {
"type": "keyword"
},
"pt": {
"type": "date"
"name": {
"color": {
"price":{
"type":"integer"
}
}
}
}
批量寫入資料如下:
PUT my-products/_bulk
{"index":{"_id":1}}
{"brand":"nike","pt":"2021-01-01","name":"product_01","color":"red","price":600}
{"index":{"_id":2}}
{"brand":"grke","pt":"2021-02-01","name":"product_02","color":"red","price":200}
{"index":{"_id":3}}
{"brand":"lining","pt":"2021-03-01","name":"product_03","color":"green","price":300}
{"index":{"_id":4}}
{"brand":"lining","pt":"2021-02-01","name":"product_04","color":"green","price":450}
{"index":{"_id":5}}
{"brand":"grke","pt":"2021-04-01","name":"product_05","color":"blue","price":180}
{"index":{"_id":6}}
{"brand":"grke","pt":"2021-02-01","name":"product_06","color":"yellow","price":165}
{"index":{"_id":7}}
{"brand":"grke","pt":"2021-02-01","name":"product_07","color":"yellow":"price":190}
{"index":{"_id":8}}
{"brand":"lining","pt":"2021-04-01","name":"product_08","color":"blue","price":500}
{"index":{"_id":9}}
{"brand":"nike","pt":"2021-01-01","name":"product_09","color":"blue","price":1000}
2.0.1 單桶聚合
terms 單桶聚合結果如下:
以品牌類别聚合
實作如下:
POST my-products/_search
"size": 0,
"aggs": {
"brand_terms": {
"terms": {
"field": "brand",
"size": 10
按照顔色、日期實作方式一緻,不再贅述。
以顔色聚合
- 以日期聚合
2.0.2 多桶聚合
Elastic search 支援 multi-terms 多桶聚合。
multi-terms 是 terms 聚合的引申,terms 支援 單個關鍵字的聚合,而multi-terms 顧名思義——多個關鍵字的聚合。
舉例:multi-terms 按照品牌、顔色兩個桶聚合如下:
多桶聚合實作如下:
GET my-products/_search
"size":0,
"brands_and_colors_aggs": {
"multi_terms": {
"terms": [
{
"field": "brand"
},
"field": "color"
}
]
多桶聚合傳回結果如下:
這時候,不免會有問題,如果想按照品牌和價格區間(histogram)或日期區間(date_histogram) 實作聚合統計分析,該如何實作呢?
顯然,multi-terms 聚合隻支援:多個 terms 聚合操作,是不能滿足需求的。
而,Composite 組合聚合應運而生,巧妙的解決了如上組合聚合問題。
2.1 Composite 聚合介紹
2.1.1 Composite 聚合定義
Composite 是個六級詞彙,含義:并合的,複合的,混成的,合成的,內建的。
Composite 聚合是一種多桶聚合,可從不同來源建立複合桶。
具體哪些不同源呢?主要支援的聚合方式如下:
Terms 特定關鍵字聚合
Histogram 區間聚合
Date histogram 日期區間聚合
GeoTile grid Geo地理位置聚合
與其他多桶聚合不同,使用 Composite 聚合有效地對多級聚合( multi-level )中的所有桶進行分頁。Composite 聚合提供了一種流式傳輸特定聚合的所有桶的方法,類似于Scroll 檢索(滾動檢索,适用于全量查詢資料的業務場景)的實作。
關于Scroll 檢索推薦閱讀:
幹貨 | 全方位深度解讀 Elasticsearch 分頁查詢
Composite 聚合是根據為每個文檔提取/建立的值的組合建構的,每個組合都被視為一個複合桶(2.1.3 會詳細舉例什麼是複合桶)。
2.1.2 Composite 聚合的核心功能
Composite 聚合較其他聚合的核心不同點如下:
支援多類型組合桶聚合。打破傳統多桶單類型聚合的壁壘,支援:Terms、Histogram、Data histogram、GeoTile grid Geo 聚合。
支援聚合後分頁。類似:scroll 檢索的,僅支援向後翻頁,不支援随機翻頁。
2.1.3 Composite 聚合文法
Composite 文法參考如下:
"my_buckets": {
"composite": {
"size": 5,
"sources": [
"brand_terms": {
"terms": {
"field": "brand",
"order": "asc"
}
}
"prices_histogram": {
"histogram": {
"field": "price",
"interval": 50,
],
"after": {
"brand_terms": "lining",
"prices_histogram": 500
}
sources:指定組合分桶裡各個分桶檢索語句,可以是一個或者多個(中括弧裡面包含多個大括弧子分桶聚合語句)。
size:每次傳回的結果數。
after:翻頁使用,每一次檢索都會有一個:“after_key”鍵值對組合,供下次檢索使用。
複合桶:{ "brand_terms": "lining", "prices_histogram": 500 } 實則為:品牌和價格區間兩者組成的複合桶。
order:分桶内的排序方式。
3、Composite 聚合後分頁實戰演練
有了上面的分析,再來看Composite 聚合會非常輕松。
拿 2.0 小節的模組化資料為示例。
假定需要實作:基于時間區間間隔一個月為機關,且基于品牌名稱兩個組合桶聚合,然後各個組合桶内實作聚合統計各個組合桶的平均價格。
拆解如下:
第一:組合桶。
分桶一:data_histogram 實作按照釋出時間間隔周期(指定為1個月)的聚合。
分桶二:terms 品牌聚合。
第二:基于組合桶實作各個組合桶平均價格的統計。
通過組合名額聚合 avg aggregation 實作組合桶内求平均值的子聚合效果。
"size":5,
"date": {
"date_histogram": {
"field": "pt",
"calendar_interval": "1m",
"order": "desc",
"time_zone": "Asia/Shanghai"
"product": {
"field": "brand"
"aggregations": {
"the_avg": {
"avg": {
"field": "price"
傳回結果如下:
說好的聚合後分頁呢?
就是在上面語句的後面,執行下一頁翻頁的時候,加上上一頁傳回的“after_key”值(對應如下代表标紅:“after”部分)即可。
"date": 1612137600000,
"product": "lining"
在生産環境隻需要将上述内容拼成java 或者 python 代碼,實作向後翻頁。
4、Composite 聚合注意事項
Composite 聚合僅能實作向後翻頁,不支援随機翻頁。
Composite 聚合目前與管道(pipeline)聚合(基于聚合結果的子聚合方式)不相容,在大多數情況下也沒有意義(會導緻結果不準确)。
5、小結
本文重點講述了聚合後分頁的新實作方式——Composite 聚合,說新其實是較6.1 版本之前的自己實作的方式而言。
Composite 聚合的兩大核心特點:組合桶(支援四種類型)聚合、聚合後分頁。
您的實戰環節有用到聚合後分頁嗎?如何實作的呢?歡迎留言交流細節。
參考
1.
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html2.
https://github.com/elastic/elasticsearch/pull/268003.
https://ramyav.medium.com/composite-aggregation-using-java-api-38882cabc886