通信行業用統一大資料平台破解“多租戶”

zd至頂網cio與應用頻道 08月10日 評論分析（文/王聰彬）：源于網際網路的大資料技術，現如今已經深入到傳統行業之中。各行各業大都在積極使用大資料推動數字化轉型，基于每個行業的特點和資訊化水準的不同，在大資料的應用上也各不相同，其中金融、電信、政府、交通行業領跑大資料應用。

某電信營運商的大資料應用在營運商中屬于第一梯隊，早在3、4年前就開始了大資料平台的建設。但随着業務帶動資料量的增長，也産生了多租戶的問題，是以在大資料平台二期建設上，其考慮通過統一架構來解決多租戶問題。

營運商的多租戶挑戰

在大資料應用上可以分為三個階段，第一，實驗期，非核心業務的應用；第二，廣泛使用期，針對一些大資料技術選擇使用的場景；第三，引領發展期，實作創新應用。

電信行業算是最早使用大資料開展業務的行業之一，在大資料的應用上已經經曆了第一階段大多處在第二階段，而且營運商目前也正進入新的轉型期，大資料也将成為創新的驅動力。

而在大資料廣泛使用期的營運商有兩大驅動力需求：業務和技術。業務驅動力表現為實作端到端的業務模型，從使用者畫像提煉出目标客戶産生價值等；技術驅動力表現為技術平台的建設滿足不同的需求。在大資料應用第二階段的後期，兩種驅動力也會交織在一起，營運商甚至建立專門的大資料部門，來統籌和實作需求。

營運商在各省市都有不同的分支機構，某電信營運商作為第一批建設大資料的營運商，在3、4年前就開始大資料平台的建設，2年内獲得了超過3000萬的業務收益。但随着海量資料和資料應用種類的不斷增長，大資料系統超負荷運作，對業務的穩定性和安全造成了潛在風險。

這也是營運商在大資料應用第二階段最突出的問題“多租戶”，多租戶是一個比較廣的概念，其中涵蓋了資源共享、資源排程、可視化管理，多租戶也基本代表了規模以上企業在技術驅動的大部分範疇。

多租戶來自于使用和維護部門的直接需求，之前營運商在it系統的建設上都是一個應用一套平台，這也造成了系統和系統之間的隔閡，産生大量的孤島。在經過不斷的架構優化後，逐漸形成了在統一的平台建立大資料應用，這就需要實作硬體甚至資料的共享。在應用都在分享資源時，如何調派這些資源，就産生了多租戶的需求。

建構統一架構大資料平台

某電信營運商需要滿足分批量資料處理的同時，引入實時分析應用，提高資料的高效使用率，挖掘潛在資料價值。

在hadoop的初期并不具備實作條件，經過發展目前hadoop已經可以很好的滿足多租戶需求，但中間需要大量定制化開發。而且單一系統也不能完成大資料的所有需求，這也使得需要一個全面的解決方案。

某電信營運商在大資料平台上更加關注實施風險和成本效益，以platform和gpfs為基礎結合開源hadoop2.0+spark整體解決方案實作完全相容滿足多租戶需求，即使在租戶數量增多的情況下，也能保證企業租戶享有安全穩定高效的應用性能。

目前某電信營運商的大資料平台已經進入第二期建設，每天資料量峰值已經超過50tb，平台上的資料提供給業務部門、維護部門、創新中心三大部門使用。

大資料平台在支援營運之外，提供了共享的架構，節省了資源提高使用率，該省公司也是以成為中國移動在大資料應用上的标杆工程。而且通過隔離功能可以讓不同應用運作在平台的同時，還可以實作資料的共享，提高性能的同時降低開發成本。

在未來大資料平台的規劃上将更加突出業務特性，甚至有可能将其他省公司也接入到該省公司的大資料平台，在技術層面越來越基于雲進行分析，提升整個平台的性能并進一步降低運維成本。

原文釋出時間為：2016年8月10日

本文作者：王聰彬

本文來自雲栖社群合作夥伴至頂網，了解相關資訊可以關注至頂網。