天天看點

支撐數千家天貓商家CRM業務,數雲高彈性資料庫如何做

“資料,已經滲透到當今每一個行業和業務職能領域,成為重要的生産因素。人們對于海量資料的挖掘和運用,預示着新一波生産率增長和消費者盈餘浪潮的到來”。-----麥肯錫

基于網際網路和大資料和時代背景,使用者在網際網路上留下更多的印記,給企業提供了更多的使用者相關資料,有了這些資料,企業不用再盲目地探索營銷手段,而是可以運用大資料能力來降低成本提升産品的效益性,并實作精準化到使用者需求,大資料分析借助巨大商業價值逐漸走向營銷的舞台,越來越多的品牌試圖從海量的資料中分析出有價值的商業資訊,以便做到精準營銷。

數雲是國内領先的資料化營運解決方案服務提供商,緻力為消費品牌和零售品牌商提供整合軟體産品、資料模型和專業服務的一站式資料化營銷解決方案,數雲在CRM領域的品牌客戶保有量、品牌客戶市場占有率、産品和解決方案綜合能力等方面都排名第一。業務的高速發展和核心資料量的不斷增長給數雲帶來了巨大的技術挑戰。

品牌客戶及品牌客戶資料量增加迎來挑戰

杭州數雲資訊技術有限公司成立于2011年,堅持以客戶為中心,重構“人-貨-場”,利用大資料和人工智能技術,支援全管道、全鍊路、跨品牌、跨品類的資料化營運體系,驅動零售整體變革。在過去九年,數雲的産品和解決方案以及公司影響力獲得業界的一緻認可。

支撐數千家天貓商家CRM業務,數雲高彈性資料庫如何做

數雲持續打造基于資料赢家、雲加CRM、互動赢家、智多星、數雲大資料等産品的高效的SAAS化軟體産品體系,基于這些核心産品幫客戶提供全管道客戶資産管理、全管道會員成長管理、全管道客戶營銷政策等解決方案,并向客戶提供聯合營銷、會員發展聯盟、資料銀行服務、全鍊路消費者營運等優質個性化服務,幫客戶提供客戶管理高效化、客戶資料可視化、客戶營銷精準化等産品能力。

伴随數雲産品、解決方案的不斷更新和完善,數雲在零售品牌電商客戶資料化營運一直保持領先的位置,同時數雲的産品和解決方案的能力在業界也是業界一流,獲得諸多客戶的信賴。有數千家品牌客戶依托數雲的産品體系建構适合自己的資料化營運解決方案,單客戶數億條核心資料、總資料上百TB的資料存儲、以及大促期間的高并發通路都給數雲的資料庫存儲選型帶來了巨大挑戰,需要資料庫具備單執行個體海量資料存儲、高彈性、高并發寫性能、低運維成本等能力。

為了解決這些業務挑戰,數雲開啟了核心業務資料庫優化之路。

從MySQL到POLARDB

雲計算具有可擴充、擴充性強、管理成低等優勢,此前數雲已經長期使用了阿裡雲的ECS、SLB、RDS、Reids、MongoDB等産品。随着核心業務資料的持續高速增長阿裡雲RDSMySQL面臨着一定的挑戰。部分執行個體存儲資料量大,觸發MySQL單執行個體存儲瓶頸,傳統資料庫單個執行個體隻能存3TB-6TB資料,單執行個體業務資料量大,維護成本高,代碼配置複雜;數雲有大促需求,在618/雙十一等大促期間希望能快速彈升(分鐘級)資料庫執行個體的計算規格和IOPS能力;涉及商家資料一緻性讀取,希望讀寫資料庫的讀節點延遲小,有較大的讀寫比,希望能夠快速增加讀節點;高并發寫訴求,對高并發狀态下的寫能力有較高要求。

雲資料庫PolarDB基于分布式共享存儲架構以及經過阿裡雲資料庫團隊數年的深入優化,具備高彈性、存儲平滑擴充、高并發寫能力強、完全相容MySQL等優勢,其中高彈性和存儲平滑擴充能力能解決困擾數雲的存儲瓶頸和彈性不足的問題,在與阿裡雲資料庫團隊深入溝通和謹慎測試後,數雲技術團隊評估雲PolarDB可以很好地滿足核心互動業務的資料庫存儲、通路、彈性等能力訴求,同時也能有效降低運維和研發團隊的管理使用成本。

PolarDB是一款關系型分布式資料庫,采用工業界得到廣泛驗證的計算與存儲分離架構,原生相容MySQL,經曆了雙11大規模高并發、高可用、擴充性檢驗,又有基于中國市場的豐富實踐,成為包括數雲在内很多企業資料庫上雲的選擇。

支撐數千家天貓商家CRM業務,數雲高彈性資料庫如何做

數雲采用PolarDB分布式雲原生資料庫方案建構了數雲核心産品互動赢家和資料赢家,解決了相關挑戰:

1、輕松應對大促期間業務流量高峰:在618/雙十一等大促期間,PolarDB可以在20分鐘内完成10TB級資料的叢集升配,快速彈升CPU、記憶體和IOPS的能力,確定流量突然增加的快速彈性。同時快速彈升能力也大幅度降低了數雲大促資源準備的成本,隻需要在雙十一前夕做資料庫彈升即可。

2、降低業務高速發展帶來的研發管理成本:數雲的産品以資料為核心,品牌客戶的資料量較大,在資料庫部署層面采用多租戶部署模式,單個資料庫執行個體存儲的資料量比較大,一般能達到幾TB,由于傳統MySQL資料庫的存儲容量有限,存量客戶資料量增長和新客戶的接入都會帶來研發的管理成本,同時上百個MySQL執行個體也帶來了較大的管理成本。PolarDB采用共享存儲架構,存儲和計算分離,能夠最大程度的提供單執行個體的存儲能力,最大可達100TB,可以解決數雲多租戶資料存儲帶來的單執行個體過大無法存儲的問題和研發管理成本,也降低了由于單執行個體存儲量限制帶來的執行個體多管理成本高的問題。

3、支撐多個商戶的高并發業務訴求:資料赢家和互動赢家線上服務的商戶數較多,對高并發讀寫能力有較強要求。PolarDB通過引擎的優化和超強的IOPS能力提供高并發狀态下的超強寫能力,32個并發以上OLTP寫能力能達到普通MySQL的2-3倍。

4、較低的遷移、接入成本。PolarDB100%相容MySQL5.6和MySQL8.0,完全相容MySQL各種生态和中間件開源工具,同時阿裡雲提供基于DTS的MySQL生态資料庫遷移方案,友善數雲低成本将現有應用服務和業務資料遷移至PolarDB。

盡管PolarDB的産品能力和阿裡雲資料庫團隊的服務得到數雲技術團隊的初步認可,但是沒有經曆大考的産品客戶心裡還是沒底,PolarDB在數雲正式投産後便面臨雙十一大考,在2019年PolarDB穩定支援了數雲雙十一業務,整體表現平穩,真正被數雲技術團隊徹底認可。

小結:雲原生、高彈性,PolarDB值得信賴

從數雲資料庫架構更新過程中,我們可以看到在雲時代的大背景下,企業選擇資料庫存儲産品需要綜合考慮性能、穩定性、成本等不同方面,都是企業客戶考慮的重點。同時雲原生資料庫在高并發、高可用、高可靠以及可擴充性方面的優勢也再次被證明。

同時由于數雲的業務場景有較強的大促屬性,存在峰值流量遠大于平時流量,對資料庫産品的彈性能力有較高的訴求,PolarDB的彈性能力處于業界領先位置,在大促期間的實際效果也符合數雲業務場景的訴求,也成為數雲選擇PolarDB的關鍵因素。

伴随阿裡雲技術疊代更新應用而生的雲原生資料庫PolarDB,已經在雲上為衆多企業客戶提供了穩定可靠的資料庫服務。PolarDB的不斷完善也需要企業客戶的信任和資料庫技術愛好者的支援,相信阿裡雲會持續給企業客戶提供更完善、更強大的資料庫産品。