天天看點

大拿在跨國機房資料同步等方面的最佳技術實踐

4月20日,雲栖大會深圳峰會在大中華深圳喜來登酒店隆重召開。本文根據深圳市大拿科技有限公司副總王彬文在海外分會場中題為《揚帆出海,阿裡護航》演講整理而成。王彬文在演講中深入分享了大拿所面臨的技術挑戰,以及如何成功實作跨國機房資料同步、高并發、大資料分析等方面的技術實踐經驗。

以下是演講内容整理:

首先非常感謝阿裡給予此次機會同大家一起交流分享下大拿在做國際業務時的經驗。今天的分享主要分為兩個部分:第一是大拿是做什麼的?第二個部分是大拿在開拓海外市場的過程中遇到什麼問題,阿裡雲幫助我們解決了哪些問題?

<b>大拿要做開放的物聯網雲平台</b> 

大拿科技建立于2007年,是全球領先的基于物聯網和雲計算的解決方案提供商,業務涵蓋動态域名尋址、網絡視訊監控、企業網際網路應用管理等領域。

憑借創新的物聯網概念,大拿科技為全球使用者打造卓越的物聯網營運方案,将各種具備網絡能力的裝置變成消費者可以随時連結和享用的資源,并通過自主研發和營運管理的大拿物聯雲服務平台,為廣大使用者提供可管可控的服務,讓人人享有随時随地、可控可管、安全穩定的互聯生活。

簡單的來說,大拿做的就是一個物聯雲平台。

大拿在跨國機房資料同步等方面的最佳技術實踐

圖一 大拿物聯雲平台構成

大拿物聯雲平台由雲端、用戶端和裝置端三部分組成。在雲端,大拿提供了一些标準api,供第三方使用;在用戶端,大拿會提供一些标準的apps,像ios、安卓等;裝置端,大拿提供了相對應的标準的sdk,使第三方裝置非常友善地接入大拿物聯雲平台。

目前是一個物聯網的時代,裝置種類繁多,市場上不存在任一家公司的業務涵蓋全部的硬體裝置。大拿作為一個開放的物聯雲平台,并不是去做硬體,而是平台和使用者,讓做硬體的廠家與大拿合作,共同給使用者提供一種全新的生活的體驗。

大拿在跨國機房資料同步等方面的最佳技術實踐

圖二 獨特的平台安全機制

在做物聯過程中,安全是最重要的。大拿實作了在雲端與用戶端、裝置端之間進行資料傳輸加密,音視訊資料做到一幀一密,每一個指令是一個密鑰,采用動态變化的密鑰,即使用戶端和裝置端在同一區域網路下,它們之間的通信也是需要進行加密的。大拿通過使用私有的協定,自生成密鑰的算法,保障使用者的安全。 

為了服務全球的使用者,大拿建立了全球雲服務支援體系。其物聯網雲伺服器遍布全球,實作全球化運維;同時在美國、歐洲、香港設立分支機構;在東歐、中東等局部地區也提供本地化雲服務。

大拿物聯雲平台支援多種物聯連接配接方式,如rf、wifi、藍牙等;同時該平台全作業系統支援,既包括linux,windows,也包括opertos等實時作業系統;大拿的apps也做到h5、安卓、蘋果、windows全平台覆寫,便于使用者快捷使用。

<b>面臨的四大挑戰和技術實踐經驗分享</b> 

在大拿擴充海外市場的過程中面臨着很多挑戰,主要有:

因國内idc機房和自建海外機房的鍊路不穩定、延時高和丢包嚴重,導緻資料同步鍊路不穩定;

視訊類裝置帶來的高帶寬消耗和海量音視訊資料存儲,例如攝像頭消耗的帶寬和存儲資源相當可觀;

大量智能裝置接入雲端對平台帶來的高并發挑戰;

對智能裝置産生的海量資料和使用者日志的處理與分析。

為了應對上述挑戰,大拿尋求到了阿裡雲的技術支援,采取了以下幾種應對措施:

一、高速通道:應對跨機房資料同步 

大拿借助阿裡雲在深圳、香港、新加坡、美國的資料中心和高速通道服務解決跨機房通信鍊路不穩定的問題。例如采用阿裡的中美高速通道後,從美國到中國的通路時間由原來的220-300ms減少到150ms,同時網絡丢包率也由原來的5%-10%減少到現在的0%。

其次資料同步由全量同步調整為隻同步核心資料,裝置産生的資料進行本地化存儲,實作節點内自治。

二、ecs+oss:應對高帶寬和海量存儲

視訊裝置的雲存儲服務和使用者觀看視訊裝置對機房帶寬帶來嚴峻挑戰,目前200多萬裝置7*24小時的雲存儲服務,産生近80pb的資料,近1t的帶寬消耗。為了降低成本,大拿利用阿裡雲優質的帶寬資源和oss解決雲存儲問題。首先視訊資料直接存儲在oss上,無需先存儲在ecs上,減少了ecs的支出;鑒權方面,通過阿裡雲的sts,保障資料通路權限問題,不會出現a寫入b資料的現象。

三、高防ip+slb+彈性伸縮:應對高并發

大拿在跨國機房資料同步等方面的最佳技術實踐

圖三 應對高并發的措施 

在直播場景裡面,會産生很多高并發量的問題,比如在某一個時間點内會突然有較大的通路量峰值。針對這類場景,可采用上圖所示的高防ip+slb+彈性伸縮服務的架構。随着通路量增加,動态的增加存儲、計算、帶寬等資源,在通路高峰退去之後再釋放掉這些資源,按量付費。

四、e-mapreduce:大資料分析

大拿在跨國機房資料同步等方面的最佳技術實踐

圖四 利用e-mapreduce進行大資料分析 

因為視訊資訊可以提供相當多的感覺元素,是以對攝像頭進行視訊分析很有意義,比如可以通過攝像頭對家庭成員進行識别,定制化的改變周圍的溫度、濕度等環境,滿足其喜好。要實作這樣的功能,需要使用多種阿裡雲産品。首先需要在ecs上通過分析将視訊資訊,将其轉化成半結構化資料;半結構化資料進入到e-mapreduce或者是odps中,完成資料分析和資料挖掘,進行使用者行為的模組化;模組化完成後,反作用于使用者的使用習慣,給使用者一個更好的智能關聯的體驗,形成一個完整的閉環。

<b>阿裡雲助力大拿擴充業務</b>

大拿通過與阿裡雲的技術合作,有效提升了本區域、跨區域通路的使用者服務體驗;同時通過海外高速通道等措施保障了大拿的海外業務的快速擴充,從項目規劃到海外部署快速上線,阿裡雲技術服務全線參與其中;通過按需使用等手段,有效控制了成本,相比較于大拿在海外選擇租借idc資源方式,采用阿裡雲完全屏蔽國内和海外的差異,為大拿提供無差别的雲計算服務。

大拿隻做平台,不做硬體。這裡再次強調大拿是一個開放的物聯網雲平台,通過與阿裡雲的合作,大拿實作了輕資産級公司的目标,更加專注于業務和服務對象。

繼續閱讀