本課程講師 : 沐澤 — 阿裡巴巴 Elasticsearch 産品經理
如果你想收看完整視訊，請點選
《飛天大資料産品價值解讀 — 全文檢索引擎 Elasticsearch》
一、關于 Elasticsearch
Elasticsearch是一個開源的資訊檢索、分析引擎，它能夠支援全文檢索，結構化搜尋和資料分析。Elasticsearch在業内是非常主流和熱門的一個搜尋引擎，在整個DB-Engine熱門指數排行上面是全球熱度第七的資料庫，在檢索方面更是全球熱度第一的檢索引擎。它應用的場景，如下圖所示，包括各類資訊查詢，比如訂單查詢，以及地理位置查詢，以及日志資料的檢索和分析，資料分析和可視化。
整個Elastic Stack開源産品生态矩陣包括Beats、Logstash、Elasticsearch和Kibana這幾部分，也是大家通常所知道的ELK，各個部分的能力概括如下圖所示。整個這樣的一套開源技術産品在開源領域，已經有很多開發者都會在自己的業務中使用。而這些都在阿裡雲上提供開箱即用的全托管的雲服務。
阿裡雲Elasticsearch提供全托管Elastic Stack服務，100%相容開源，免費提供XPack商業插件，即開即用，按需付費。同時深入功能與核心性能優化，提供更豐富的分析檢索能力，更安全、高可用服務。
整體優勢展現在兩個方面。
第一，低成本。阿裡雲Elasticsearch不僅免費提供每個節點價值6000美元的X-Pack商業插件。還通過智能運維、進階監控告警、容災部署等，為使用者降低大規模叢集的運維成本。同時，針對性場景調優，提高資源利用效率。
第二，具備更強勁的功能與性能。阿裡雲Elasticsearch基于開源核心引擎研發了日志增強版核心，帶來日志場景的100%成本降低，以及100%性能提升。同時也通過向量檢索插件、阿裡雲SQL插件，不斷完善整體在文本、視訊、音頻、圖像，各方面的資訊檢索能力。
另外，與開源相比，阿裡雲Elasticsearch通過各種企業級資料安全能力，全面對齊等保2.0要求，也提供開放的二次開發能力，支援各種業務場景的封裝。通過這些構成了阿裡雲Elasticsearch端到端分析檢索架構，包含資料采集層，資料加工層，資料引擎層，應用層。目前，阿裡雲Elasticsearch已經為教育、零售、金融、遊戲等然30多個行業的幾千家客戶提供雲上穩定、高性能服務。在區域部署上面，阿裡雲Elasticsearch服務已經覆寫阿裡雲全球20個資料中心，同時也能夠支援本地化的專有雲以及混合雲的傳遞模式。
二、電商零售分析檢索能力與解決方案
下面我們會基于一些場景上的實際的案例，包括一些架構，對Elasticsearch在實際的功能和能力上做更詳細的講解。
電商零售——電商業務搜尋。
電商場景存在海量的商品資料、訂單資料，在售前和售後階段，均 對資料的精準搜尋有需求，在售前階段幫 助使用者快速找到意向商品和相關服務；在 售後階段幫助使用者找到曆史訂單資訊，例如幫助賣家根據手寫退換單中的模糊資訊快速 找到并處理售後訂單。
綜合資料分析
交易及零售行業線上上線 下均有大量的資料産生，例如業務系統日志、交易資料、POS機資料、使用者資訊、 使用者在門店或線上的行為資料、智能裝置 資料等，需要對資料做多管道收集、存儲并分析。
場景痛點有三點；
1、流量波動，叢集缺彈性：電商零售行業周 期性的流量波峰波谷(周末、大促)，叢集 需要适應性的伸縮，直面供應鍊成本備援 或者不足的問題，以及頻繁變更叢集的運 維成本問題高；
2、搜尋品質要求：搜尋作為電商零售場景核 心流量入口，搜尋準确率直接影響使用者體 驗和成交轉化，基礎開源分詞器無法滿足 高品質搜尋需求；
3、高穩定性要求，成本高：電商零售行業在流量高峰時，需要同時承載大量的查詢和 寫入壓力，對系統的可用性、穩定性保障 要求極高。
與之對應的，Elasticsearch提供了适用于此類檢索場景的各種産品能力。
1、體系化産品能力：雲上資料及服務高 可用、叢集一鍵升降配、資料存儲加 密和安全管控、MS級的資料時效性。
2、多雲災備：多雲災備解決方案。
3、成本優化：通過場景調優、産品組合和價格政策，TCO下降50%以上。
4、專家級服務：提供專家級支撐能力， 輸出基于客戶場景的解決方案、架構優化、疑難問題解決。
5、全鍊路支援：雲上ELK全産品支援，提供從資料采集、傳輸、處理、可視化的一站式服務。
下面我們從電商零售行業的訂單檢索出發，來看下檢索方面客戶的技術和業務有什麼問題。
在電商、零售行業，交易訂單作為整個系統的“紐帶”貫穿了整個系統的關鍵流程，承載着所有購買資訊與支付資訊。
随着電商新零售業務規模日益擴大，對各電商/服務商的系統帶來了新的挑戰。以雙11大促為例，主要會面臨以下幾個問題。
1、日訂單資料800w+，高流量、高并發系統壓力大。關系型資料庫面對超大資料量具有天然的性能瓶頸，如果底層資料庫直接承載業務端查詢壓力，可能發生影響業務穩定性的問題。
2、30+訂單字段，高次元聚合/條件/模糊查詢效率低。傳統DB不滿足靈活的字段組合查詢，Like性能差。業務的查詢情況多樣、查詢條件複雜，對實時性要求高。
3、業務波動大，系統不能靈活擴縮，運維難度高。大促帶來的峰谷波動，面臨供應鍊資源不足或備援。頻繁變更底層系統的人力運維成本高，缺乏支撐和保障。
在查詢檢索的性能提升這一塊，可以看到，傳統關系型資料庫有很大的局限性，Elasticsearch 是如何與 DB 能力互補呢？
Elasticsearch 基于 Lucene 核心庫建構，以反向索引算法為基礎，預設為所有字段建立索引。資料模型采用 Free Scheme 模式， JSON 主體，字段靈活添加，字段層級位置靈活設定。可以應付超大的資料量查詢，在單索引資料量十億級也可以在亞秒内響應查詢。任意索引字段可組合使用，且查詢效率相當高。多表關聯查詢可通過反範式的關聯能力，将多個業務表資料合并到一個索引中。天然分布式設計，副本與分片機制使得叢集具備彈性擴充能力。總的來說，關系型資料庫比較全能，其分庫分表的機制可以很好的保障資料不丢失、不覆寫，但是面對大規模的複雜查詢檢索，會有一定的局限性。Elasticsearch 更為專注于提供靈活高效的查詢能力，将Elasticsearch 作為資料庫二級索引組合使用，可以很好的應對資料幾何倍數增長、查詢條件動态變化的檢索業務場景，實作資料庫查詢加速。
下面來看一個電商訂單檢索案例，是如何使用阿裡雲Elasticsearch實作訂單檢索，搭建日志分析平台。
案例—愛用科技
愛用科技立足于電子商務行業，是基于淘寶服務平台的最早一批應用軟體與資訊技術服務提供商之一。 專注為淘寶電商商家提供包含訂單處理、商品管理、分銷供應、資料分析、營銷打折等功能的軟體産品。 現已服務于400萬淘寶商家，使用阿裡雲Elasticsearch搭建訂單檢索服務和日志分析平台。
在訂單檢索場景，愛用不僅為超過 40W 商家使用者提供穩定安全的訂單管理服務，并承諾 1~5 秒内可實 現所有訂單查詢和處理。同時，這樣的一套訂單系統可以支援賣家使用者從接單、訂單管理、列印發貨、物流跟蹤、到評價管理， 實作全流程管理覆寫，幫助賣家使用者高效、實時管理訂單動态。另外，在實際的檢索能力上，可以支援通過訂單号、買家昵稱、關鍵詞、收件人姓名、手機号、收貨地 址、交易時間、賣家備注、賣家留言等 20+ 訂單資訊字段，進行各類進階查詢、篩選和排序。總的來說，實作了超快的訂單加載速度，篩單秒出結果。
業務痛點
1、峰值并發查詢壓力大，延遲高體驗不好，嚴重影響穩定性，無法達到為使用者承諾的查詢時效性。
2、訂單字段複雜，商家使用者的查詢次元多，和模糊搜尋意圖強，原先的Postgresql資料庫方案無法實作滿意的查詢效果和性能。
3、雙十一、618等購物節業務壓力暴漲，難以快速擴容。第作為服務商，将所有客戶的資料集中存儲索引管理，
4、資料可用性、安全、權限粒度更要求高，資料敏感影響巨大面對這些問題。
Elasticsearch 能力
1、PB級資料準實時搜尋引擎，查詢結果毫秒級返阿裡雲Elasticsearch研發了回；索引限流插用以件，保障系 統高穩定性。
2、支援多種資料結構的複雜查詢，及字段的全文比對和模糊比對，同時內建 阿裡達摩院NLP分詞器等多種分詞插件，性能效果雙保障。
3、叢集一鍵平滑擴縮容，變更對業務0影響，靈活應對流量峰谷。
4、資料自動備份、多種安全認證、字段級别權限管最終這塊，愛用科技基于MySQL+Elasticsearch組合方案了整體實作訂單查詢。 不僅提升了近一倍的IOPS性能，也同時降低了50%的資源成本。
阿裡雲 Elasticisearch 在其他的場景應用也有很多案例能力的沉澱。
阿裡雲 Elasticsearch 向量檢索能力，被廣泛應用在以圖搜圖，智能客服這些場景。
随着AI技術的不斷普及，電商場景中針對向量檢索的需求量在逐漸提升。從以圖搜圖、人臉識别、音視訊識别到商品智能推薦等場景，技術上都離不開向量檢索的能力支撐。
阿裡雲Elasticsearch向量檢索插件，基于達摩院 Proxima 向量引擎庫，對向量檢索 的一些基礎能力，如聚類、距離計算、高并發、Cache 等做了深層次的優化。
Elasticsearch 整套 ELK 分析可視化方案，被廣泛應用于智慧門店場景下的業務分析場景。
對于很多新零售商家諸如海底撈，線下門店分布廣，業務體量大，迫切的需要”智慧門店”解決方案，實作會員、訂單、商品等多管道業務資料的集中管理和實時搜尋，用于移動端綜合搜尋和内部管理、營運系統的業務名額分析。基于阿裡雲 Elastic Stack 端到端的産品能力，可以很好的實作門店資料、使用者資料、交易資料、客流資料等全管道收集，并進行資料聚合與實時資料分析，結合 Kibana、 QuickBI 和 DataV 打造業務資料可視化監控看闆， 搭建資料應用分析、可視化和搜尋服務，并支援報表關聯權限管控，進而一站式的搭建出整套智慧門店解決方案。
電商零售業務分析應用的架構，分為四個部分，分别是資料源 & 采集，資料傳輸、流式資料存儲，資料ETL，資料存儲 & 分析。
三、線上教育全觀測運維監控能力與解決方案
接下來，我們會從線上教育這個行業進行介紹。總體來說，先來看三大應用場景。
1、1對1、1對多、1對N的線上直播團隊：學 員或老師在直播的過程中，會産生很多行 為動作，如進入直播間，退出直播間，舉手、上講台、塗鴉、加載課件等，如果動 作無響應，對于使用者體驗就很差，需要基 于日志的資料可視化，來幫助測試或研發 監控、複現和定位問題；
2、全鍊路應用性能監控團隊：終端使用者(學 生&老師)、客戶(獨立教育訓練機構 或者 内部 課程部門)、平台方(平台運維部分)，涉及 的問題層層傳遞，需要保證性能監控的時 效性；
3、試題、教案教義搜尋團隊：試題的标簽個 數在錄入時是不确定的，需要底層的搜尋 /檢索系統可以支援靈活的标簽錄入機制。
在這些場景下，往往有着共同的痛點問題。
1、流量波動，叢集缺彈性：教育行業周期性 的流量波峰波谷(周末、寒暑假)，叢集需 要适應性的伸縮，直面供應鍊成本備援或 者不足的問題，以及頻繁變更叢集的運維 成本問題高；
2、鍊路冗長，問題難定位：資料鍊路端到端 流程太長，一旦異常定位問題成本很高；
3、高穩定性要求，成本高：教育行業不僅僅 向客戶暴露業務系統，日志系統也會面向 使用者使用（如監課），全鍊路的穩定保障 要求極高；
4、搜尋高要求：不僅僅是全文檢索，基于标 簽的本文、甚至是非文字檢索需求導緻搜尋複雜。
阿裡雲Elasticsearch産品在這樣的場景和痛點下，具備以下能力。
1、體系化産品能力：雲上資料及服務高可用、 資料存儲加密和安全管控、MS級的資料 時效性、全鍊路資料加快S級回報；
2、資料時效性：MS級的資料時效性，全鍊路資料監控S級回報；
3、多雲災備：多雲災備解決方案；
4、TCO成本優化：通過場景調優、産品組合 和價格政策，可以讓客戶TCO下降50%以 上；
5、專家級服務：提供專家級支撐能力，輸出基于客戶場景的解決方案、架構優化、疑難問題解決。
下面我們從線上教育的一些典型客戶使用方面來做一些深入的分析。
案例—好未來
好未來（前身“學而思”）是一個以智慧教育和開放平台為主體，以素質教育和課外輔導為載體，在全球範圍内服務公辦教育，助力民 辦教育，探索未來教育新模式的科技教育公司。
好未來旗下直播雲平台，為各類教育教育訓練機構輸出包括線上教室和雙師課堂在内的全場 景教育直播産品及服務體系。好未來直播雲支撐線上百萬人線上課堂， 并承諾不卡頓，支援師生互動；提供從視訊的采集、轉碼、發送、SDRTN、接受、解碼、播放/渲染全鍊路的服 務，系統需要提供99.9%傳輸成功率；提供500ms 低延遲、高清畫質，全球範圍 直播授課及同步監管能力，7*24小時線上 支援保障；自建ES的全鍊路品質監控，QoE、QoS等 品質實時監控。
面對這樣高性能、穩定性要求的直播系統，好未來的直播鍊路面臨着巨大的挑戰。
1、監控名額來源多，實時性保障困難。而阿裡雲Elasticsearch具備豐富異構資料源采集能力，能夠覆寫主流DB和日志系統并支援模版化的日志解析處理能力。
2、資料權限粒度要求高。為保障終端使用者的使用體驗，直播平台方需要賦能客戶資料監控和分析能力，需要提供讀資料權限；無法滿足每個客戶一個叢集的需求，需要對一個大池子中的資料進行細粒度的資料權限分割。面對這樣高要求的資料權限問題，阿裡雲Elasticsearch本身可以提供精确到字段級别的資料權限分割能力，并基于RBAC模型支援使用者靈活自定義權限體系；支援與企業自有權限體系對接打通關。
3、線上教育的流量波動大，自建叢集投入成本高。教育行業寒暑假業務流量激增，學期内流量平穩，機器資源閑置浪費；峰值流量叢集壓力大，叢集容災和穩定性差。雲上Elasticsearch托管很好的提供了叢集平滑的伸縮能力，同時叢集熱變更，對服務0影響。
在此之中，叢集平滑擴縮容作為線上教育核心訴求。阿裡雲Elasticsearch通過性能優化不僅達到了毫秒級别的資料時效性，并且支撐數百個企業級客戶權限配置設定管理。當遇到流量激增，整體監控及日志平台可以平滑擴容，而峰/谷叢集也可以通過彈性伸縮功能靈活配置，節約100%成本。和客戶自建服務效果對比，展現了降本增效的核心優勢。直播場景下，好未來整體日志及監控平台資料流程示意圖如下圖所示。
在這個方案背後，依托的就是 ELK 的全觀測能力實作監控運維分析。
運維系統的成熟度主要根據，所收集資料的豐富度、資料處理的結構化能力、以及資料分析層的複雜程度所決定。而 Elastic Stack 能夠充分利用分散在系統各層的資料，更好的發揮資料價值。
全觀測能力，不僅關注的是基礎的日志和名額資料，更能收集到使用者行為金控、交易性能監控、分布式追蹤等 APM 資料，通過對采集後的資料進行彙聚處理，進行資料存儲搜尋，以及可視化監控告警。而随着告警能力的完善，資料的分析也不僅僅依托于簡單的規則和名額異常告警，Elasticsearch 本身能夠提供進階的機器學習和關聯分析，實作對問題全鍊路的追蹤。
進而最終實作了日志、名額、APM 資料在一個平台統一分析。如下圖所示，不僅建立了統一的可視化視圖、對齊時間、過濾條件；除了統一的基于規則的監控和告警；還有統一的機器學習的智能監控和告警。
當業務發生一些故障，Elasticsearch 會有一個機器學習的子產品，通過你的曆史的情況去智能的推測，比如說，這個時候的名額大概會在什麼樣的範圍内。當你的名額沒有在之後，就會判斷這是一個異常的情況。在機器學習頁面，就會給你這樣一個告警詳情。然後你就能夠跳轉到相應的，包括 API 那些頁面，儀表盤，名額去進行後續的診斷故障。
機器學習頁面詳細分析告警，包括各種機器學習任務告警對齊；機器學習根據API響應時間的曆史情況自動模組化，當監控值超過動态門檻值就觸發告警， 并且可以指出是哪個 API 性能下降；可以從故障點處跳轉到 APM、儀表闆、名額、Uptime 等其他應用來診斷這個故障。
APM 性能分析，包括總體性能統計概覽，中央時間點對應故障時間點；根據各個API性能影響的情況排序，影響最大的排最前面。
APM檢視分布式調用有如下幾塊。第一，服務響應時間分布情況。第二，彙總分布式環境下的多種服務。第三，檢視分布式環境下服務間的調用關系和單個應用内部的調用情況。
儀表闆綜合分析包括：服務總體響應時間分析，分服務的響應時間對比，把服務分為各個執行個體性能熱點分析。
檢視名額分析這一塊，包括可觀察主機、K8s、docker 的名額資料，時間對齊告警發生時刻。它可以按照每一個 Pod 檢視性能消耗，可以檢視每個 Pod 的日志、名額、APM、Uptime 資料。并且，打通名額和名額、APM。
分析日志定位原因如下圖所示，包括時間對齊告警發生時刻，自動定位到單個 Pod 可以自由輸入條件過濾日志流，可以看到8點這個時刻 MySQL 有大表 連接配接，大量的行掃描。
總體概括來說，阿裡雲 Elasticsearch 在各個業務場景下，從整體成本，叢集管控、檢索能力、安全性和可用性等各個方面，對比自建叢集均帶來了全方位的能力與性能優化，如下圖所示。
【
阿裡雲Elastic Stack】100%相容開源ES，獨有9大能力，提供免費X-pack服務（單節點價值$6000）
相關活動
更多折扣活動，請
通路阿裡雲 Elasticsearch 官網 阿裡雲 Elasticsearch 商業通用版，1核2G ,SSD 20G首月免費 阿裡雲 Logstash 2核4G首月免費