天天看點

大資料應用安全研究報告(11家公司實踐詳解)

一、阿裡雲大資料安全實踐

阿裡雲數加大資料平台提供從資料采集,加工、資料分析、機器學習到最後資料應用的全鍊路技術和服務。

大資料應用安全研究報告(11家公司實踐詳解)

基于阿裡雲數加大資料平台,除了可以打造智能可視化透明工廠、智能交通實時預測和實時監控監測、智能醫院就醫接診服務,以及大資料網絡安全态勢感覺系統外,還可以打造成一個滿足政府不同部門以及政企之間實作資料共享的資料交換平台。

為了保障資料共享和交換過程中的資料安全,數家大資料平台通過安全機制和管控措施實作不同使用者之間資料的“可用不可見”,具體如圖b-1所示:

大資料應用安全研究報告(11家公司實踐詳解)

▊為確定資料交換和共享的安全,避免資料濫用,阿裡雲數加平台提供了一系列安全措施:

密鑰管理和鑒權。提供統一的密鑰管理和通路鑒權服務,支援多因素鑒權模型;

通路控制和隔離。實施多租戶通路隔離措施,實施資料安全等級劃分,支援基于标簽的強制通路控制,提供基于acl的資料通路授權模型,提供全局資料視圖和私有資料視圖,提供資料視圖的通路控制;

資料安全和個人資訊保護。提供資料脫敏和個人資訊去辨別化功能,提供滿足國産密碼算法的使用者資料加密服務;

安全審計和血緣追蹤。提供資料通路審計日志,支援資料血緣追蹤,跟蹤資料的流向和衍生變化過程;

審批和預警。支援資料導出控制,支援人工審批或系統預警;提供資料品質保障系統,對交換的資料進行資料品質評測和監控、預警;

生命周期管理。提供從采集、存儲、使用、傳輸、共享、釋出、到銷毀等基于資料生命周期的技術和管理措施。

阿裡雲基于資料生命周期建構全面的資料安全保障體系,從資料行為、資料内容、資料環境等角度提供技術和管理措施,具體如圖b-2所示:

大資料應用安全研究報告(11家公司實踐詳解)

通過實施阿裡雲大資料安全管控體系,提供“可用不可見”的大資料交換共享平台安全環境,以保障大資料在“存儲、流通、使用”過程中的安全。

二、百度大資料安全實踐

資料是百度公司的重要資産。百度公司在内部建構了公司級大資料平台,收錄公司各個業務領域的資料,建設資料閉環解決方案,推動全公司資料的統一管理、資料共享、資料發現和資料使用。這些聚在一起的資料資産來自多個部門和業務,對安全的要求也不同。

百度非常重視大資料應用過程中的安全保障,在安全方面形成了統一的大資料安全架構,通過在資料全生命周期各環節實施安全技術和管理機制,為大資料平台和使用者資料提供安全保障。

▊百度大資料平台安全架構

百度大資料平台具備基礎的系統安全、安全管理,以及以資料安全分級機制為核心的資料安全架構,如圖b-3所示:

大資料應用安全研究報告(11家公司實踐詳解)

系統安全和安全管理是百度大資料平台中最基礎的安全機制。資料安全架構在整個大資料安全架構中處于極為重要的位置。資料安全架構包括安全審計、安全控制和安全加密三部分,并采用安全分級機制,分為基礎級和可選級。

安全基礎級别包括安全審計和安全控制兩個功能,它是所有在大資料平台的業務資料都會得到的安全基礎保障,為大資料平台上的資料提供生命周期過程中的可審計性和細粒度完整控制功能。可選級别包括資料的加解密功能,支援各種強度的加解密算法。

百度大資料平台支援資料的加密存儲,考慮到平台每天産生的資料量極其龐大,以及資料運算的效率要求,可以根據資料的業務特點和密級要求來選擇不同強度的加密算法。

▊百度大資料平台關鍵安全能力

百度提出4a安全體系來建構大資料平台的關鍵安全能力,主要包括:

account(賬号):為每個使用者建立唯一的使用者賬号,并對使用者身份進行鑒别,確定資料通路控制和安全審計可以追溯到個人賬号。同時,采用基于角色的使用者分組管理,将系統管理角色、系統資料建設角色和資料檢視角色進行區分。

authentication(鑒别):百度大資料平台上的資料通路必須有統一的身份鑒别機制。百度大資料平台采用統一單點登入身份認證技術對使用者進行身份鑒别管理。

authorization(授權):百度大資料平台需要根據資料通路主體身份,以及被通路資料的密級,實作對各類資料的通路授權。對于機密等級以上的資料,需要對接到具體的電子審批流程。此外,資料在流轉過程中,大資料平台可以自動判斷對應的下一個節點的安全等級和人員授權情況,進行資料流轉的安全判斷和維護。

audit(審計):百度大資料平台具有審計日志記錄功能,實作對系統中針對使用者管理、權限管理、使用者登陸、資料擷取/通路/修改等行為的完整日志記錄。基于系統審計日志,可以實作事中的安全監控,以及事後的行為溯源和驗證分析。

三、華為大資料安全實踐

華為大資料分析平台fusioninsight基于開源社群軟體hadoop進行功能增強,提供企業級大資料存儲、查詢和分析的統一平台,幫助企業快速建構海量資料資訊處理系統。

fusioninsight是完全開放的大資料分析平台,并針對金融、營運商等資料密集型行業的運作維護、應用開發等需求打造了高可靠、高安全、易使用的運作維護系統和全量資料模組化中間件。華為fusioninsight大資料分析平台架構圖如圖b-4所示:

大資料應用安全研究報告(11家公司實踐詳解)

大資料分析平台彙聚着大量資料,面臨着更多的安全威脅和挑戰,包括資料濫用和使用者隐私洩露問題。華為fuisoninsight大資料分析平台提供可營運的安全體系,從網絡安全、主機安全、使用者安全和資料安全方面提供全方位的安全防護(如圖b-5):

大資料應用安全研究報告(11家公司實踐詳解)

  ▊網絡安全

fusioninsight叢集支援通過網絡平面隔離的方式保證網絡安全。

▊主機安全

通過對fusioninsight叢集内節點的作業系統安全加強等手段保證節點正常運作,包括更新最新更新檔、作業系統核心安全加強、作業系統權限控制、端口管理、部署防病毒軟體等。

▊使用者安全

通過提供身份認證、權限控制、審計控制等安全措施防止使用者假冒、越權、惡意操作等安全威脅:

身份認證。fusioninsight使用ldap作為帳戶管理系統,并通過kerberos對帳戶資訊進行安全認證;統一了manager系統使用者群組件使用者的管理及認證,提供單點登入。

權限控制。基于使用者和角色的認證統一體系,遵從帳戶/角色rbac(基于角色的通路控制)模型,實作通過角色進行權限管理,對使用者進行批量授權管理,降低叢集的管理難度;通過角色建立通路元件資源的權限,可以細粒度管理資源(例如檔案、目錄、表、資料庫、列族等通路權限);将角色授予使用者/使用者組,簡化使用者/使用者組的權限配置。

審計日志。fusioninsight審計日志中記錄了使用者操作資訊,可以快速定位系統是否遭受惡意的操作和攻擊,并避免審計日志中記錄使用者敏感資訊:確定每一項使用者的破壞性業務操作被記錄審計,保證使用者業務操作可回溯;為系統提供審計日志的查詢、導出功能,可為使用者提供安全事件的事後追溯、定位問題原因及劃分事故責任的重要手段。

▊資料安全

從叢集容災、備份、資料完整性、資料保密性等方面保證使用者資料的安全。

檔案系統加密:hive、hbase可以對表、字段加密,叢集内部使用者資訊禁止明文存儲;

加密靈活:加密算法插件化,可進行擴充,亦可自行開發。非敏感資料可不加密,不影響性能;

業務透明:上層業務隻需指定敏感資料(hive和hbase表級、列級加密),加解密過程業務完全不感覺。

▊資料容災

fusioninsight叢集容災為叢集内部儲存的使用者資料提供實時的異地資料容災功能;它對外提供了基礎的運維工具,包含主備叢集關系維護,資料重建,資料校驗,資料同步進展檢視等功能。

四、京東大資料安全實踐

資料資源已經成為一種基礎戰略資源,資料的共享和流通會産生巨大價值。然而,資料資源在流通過程中卻面臨着諸多瓶頸和制約,尤其是當資料一種特殊的數字内容産品時,其權益保護難度遠大于傳統的大資料,一旦發生侵權問題,舉證和追責過程都十分困難。

為了解決這些問題,京東萬象資料服務平台(如圖b-6所示)利用區塊鍊技術對流通的資料進行确權溯源,資料買家在資料服務平台上購買的每一筆交易資訊都會在區塊鍊中存儲起來,資料買家通過獲得交易憑證可以看到該筆交易的數字證書以及該筆交易資訊在區塊鍊中的存儲位址,待買家需要進行資料确權時,登入使用者中心進入查詢平台,輸入交易憑證中的相關資訊,查詢到存儲在區塊鍊中的該筆交易資訊,進而完成交易資料的溯源确權。

大資料應用安全研究報告(11家公司實踐詳解)

在安全保障方面,為了防止資料流通過程中的個人身份冒用問題,京東萬象資料服務平台通過使用公安部提供的個人身份認證服務對使用者身份進行識别和保護。京東萬象資料服務平台結合公安部eid技術,該技術密碼技術為基礎、以智能安全晶片為載體、由“公安部公民網絡身份識别系統”簽發給公民的網絡身份辨別,能夠在不洩露身份資訊的前提下線上遠端識别使用者身份。

京東萬象資料服務平台通過區塊鍊溯源和eid技術,有效解決了合法使用者基于網際網路開展大資料安全交易的數字産品版權保護問題,保障了資料擁有者在資料交易中的合法權益。

五、奇虎360大資料安全實踐

奇虎360在面對日益嚴峻的安全挑戰時,不斷更新技術思路,實作了及時響應最新的網絡安全威脅。為應對千變萬化的網絡安全威脅,奇虎360通過部署的數萬台大資料伺服器,對目前網絡安全事件進行實時監測與分析,采用大資料技術對網絡安全威脅進行跟蹤和防範。

為了保障安全,大資料平台依照“安全三同步”原則進行建設,即同步規劃、同步組織實施、同步運作投産。

奇虎360的大資料平台安全保障體系架構如圖b-7所示。大資料平台安全保障體系架構包括“安全職責劃分”,“安全區域劃分”,“安全級别劃分”,“安全監測子產品”,“安全防禦子產品”,“業務安全與安全運維子產品”,“安全響應中心子產品”等部分。

大資料應用安全研究報告(11家公司實踐詳解)

  ▊安全職責劃分

安全職責劃分是整體方案的基礎,所有技術手段都應貼近安全職責劃分,為其服務。梳理大資料平台各方安全責任邊界,對整個活動中的安全事件進行詳細的責任劃分。

▊安全區域劃分

大資料平台環境相對複雜,涉及多類業務,多類系統,現有網絡結構已經考慮了分級問題,在此基礎上,需進一步細化安全域的劃分以及不同安全域、不同安全級别的通路控制設計。

▊安全級别劃分

按照安全區域劃分結果,為每個區域制定響應的安全等級,區域安全等級與使用者安全等級、資料安全等級互相對應。通過安全級别的劃分確定可信合規使用資源。

▊安全監測子產品

其中主要包括大資料平台安全防禦審查系統并提供基于人工或自動化的多層次的安全監測服務。

▊安全防禦子產品

按照統一規劃、統一标準的設計思路,在充分考慮目前網絡應用和實際環境的基礎上,對整體的網絡劃分為若幹個安全域和安全區,建設大資料平台面向各個區域的基礎安全防禦系統和大資料平台自身的防禦系統。

▊業務安全與安全運維子產品

實作安全運維操作的分級管理,針對大資料業務安全和安全運維工作的使用者賦予符合其安全職責劃分的權限,實作業務安全和安全運維。

▊安全響應中心子產品

采用本地響應+安全響應的新型工作模式。本地響應實作目前問題的及時規範化處理,安全響應結合雲端的情報威脅關聯、本地終端協調關聯、以及專家等提供及時的技術保障服務。

六、騰訊大資料安全實踐

騰訊一直把大資料應用作為公司的重要發展戰略,并依托十多年的網際網路産品開發和營運經驗,形成了一套完整、可靠、擴充性強的大資料業務應用架構,為使用者提供大資料處理服務。

▊騰訊大資料業務應用架構為使用者提供三大基礎能力:

資料:提供海量的資料接入能力與處理能力;

連接配接:提供開放接口,做網際網路+的連接配接器;

安全:重視網絡安全,将其作為連接配接一切的防護體系。

騰訊特别注重在提供大資料處理服務過程中的資料安全和隐私保護問題,采取安全技術和管理措施確定大資料業務的健康發展。大資料和雲計算密不可分,騰訊雲通過端、主機、網絡、業務的安全服務,為客戶提供安全的大資料業務。騰訊大資料安全涉及的安全關注重點如圖b-8所示。

大資料應用安全研究報告(11家公司實踐詳解)

  ▊平台安全

關注系統自身的安全性,防止來自系統層面的攻擊,同時為更進階安全防禦措施提供系統級别的支援,包括:系統防禦,即防禦來自系統層面的攻擊,如漏洞攻擊、嗅探攻擊、流量攻擊(如ddos)等;權限管理,即提供檔案、裝置等底層資源的權限管理能力,防止越權通路;操作審計:即提供檔案、裝置等底層資源的通路、操作曆史日志,為更進階的審計提供資料和功能支援。

關注資料生命周期各階段的安全性,防止資料丢失、覆寫、篡改帶來的損失。包括:存儲安全,即采用多副本方式存儲資料,防止資料非正常丢失;抹除安全,即資料延遲删除,防止誤操作帶來的資料丢失。

▊傳輸安全

關注資料在傳輸過程中的安全性,包括:接口安全,即采用安全接口設計及高安全的資料傳輸協定,保證在通過接口通路、處理、傳輸資料時的安全性,避免資料被非法通路、竊聽或旁路嗅探;中間層安全,即使用加密等方法隐藏實際資料,保證資料在通過中間層的過程中不被惡意截獲,隻有資料管理者通過密鑰等方式可以在平台中動态解密并通路原始資料。

▊安全管理

關注對大資料分析平台的合理、合規使用,通過與技術配套的管理手段控制風險,保證安全。包括:認證、鑒權、授信管理,即確定使用者對平台、接口、操作、資源、資料等都具有相應的通路權限,避免越權通路;分級管理,即根據敏感度對資料進行分級,對不同級别的資料提供差異化的流程、權限、審批要求等管理措施,資料安全等級越高,管理越嚴格;

審計管理,基于底層提供的審計資料,在權限管理、資料使用、操作行為等多個次元上對大資料分析平台的運轉提供安全審計能力,確定及時發現大資料分析平台中的隐患點,視不同嚴重程度采取包括排除隐患、挽回資料、人員追責在内的多種補救措施,同時指導大資料分析平台不再重複類似的問題。

七、中國移動大資料安全實踐

為應對大資料應用服務過程中資料濫用和個人隐私安全風險,中國移動建立了完善的大資料安全保障體系,目标是保護大資料權屬性、保密性、完整性、可用性、可追溯性,實作大資料“可管、可控、可信”,保護公司各領域大資料資産及使用者隐私。大資料安全保障體系架構如圖b-9所示。

大資料應用安全研究報告(11家公司實踐詳解)

▊中國移動大資料安全保障體系涉及安全政策、安全管理、安全營運、安全技術、合規評測、服務支撐等六大體系:

安全政策體系:是在遵循國家大資料安全政策架構的基礎上,開展頂層設計,明确公司大資料安全總體政策,指導相關管理制度、技術防護、安全營運、合規評測、服務支撐工作的開展,是其它體系建設的基本依據。

安全管理體系:是通過管理制度建設,明确營運方安全主體責任,落實安全管理措施,相關制度包括第三方合作管理、内部安全管理、資料分類分級管理、應急響應機制、資産設施保護和認證授權管理等安全管理規範要求。

安全營運體系:是通過定義營運角色,明确營運機構安全職責,實作對大資料業務及資料的全流程、全周期安全管理,通過對大資料的平台系統、業務服務、資料資産和使用者隐私的有效安全營運管控,保障業務可持續健康發展。

安全技術體系建設:目标是有效預構塔防能力,包括基礎設施、網絡系統、資料存儲、資料處理以及業務應用等層次安全防護。通過制定涉及網絡、平台、系統、資料、業務系列安全技術規範支撐開展安全防護能力建設。

安全合規評測體系:建設目标是持續優化安全評估能力,通過合規評估、安全測試、攻擊滲透等手段,實作對大資料業務各環節風險點的全面評估,保障安全管理制度及技術要求的有效落實。

大資料服務支撐體系:理念是“安全保資料、資料促安全”,重點是基于大資料資源為資訊安全保障提供支撐服務,如基礎安全态勢感覺、資料安全監測預警、情報分析輿情監測、以及不良資訊治理等安全領域的應用。通過開展大資料在大資料安全管控等各個領域的應用研究,為資訊安全管控提供新型的支撐服務手段。

▊中國移動對使用者個人資訊的各個處理環節施行嚴格規定與落實:

對客戶資訊所包含的内容進行界定、分類及分級;

明确資訊安全管理責任部門及職責。對各部門的職責進行了嚴格要求和細緻規定,并明确相關崗位角色及權限;

對客戶敏感資訊操作進行嚴格管理。對于涉及使用者敏感資訊的關鍵操作,嚴格遵守金庫模式保護要求,采取“關鍵操作、多人完成、分權制衡”的原則,實作操作與授權分離;

設立客戶資訊安全檢查制度;

不斷提高客戶資訊系統技術管控水準;

嚴控第三方資訊安全風險。

另外,中國移動自主研發了大資料安全管理平台——雷池,實作資料的統一認證、集中細粒度授權、審計監控、資料脫敏以及異常行為檢測告警,可對資料進行全方位安全管控,做到事前可管、事中可控、事後可查。

八、cloudera大資料安全實踐

hadoop已經廣泛應用于金融、電信、制造、能源以及健康醫療領域,這些領域的客戶基于hadoop搭建企業資料湖,完成企業資料整合。資料整合之前是存放在相對獨立的系統進行安全存儲及管理。

資料整合之後,原本隻有少數人通路到的資料分享給更多的使用者進行分析,如何有效的對通路者進行身份稽核,資料的權限管理,資料通路留痕即審計,以及對涉密程度比較高的資料在大資料平台進行加密,是企業資料湖面臨的重要問題。

cloudera在大資料安全保障方面,提供了從資料平台身份認證、通路授權管理、資料加密保護到安全審計全流程的安全解決方案體系架構。cloudera大資料平台安全體系架構如圖b-10所示:

大資料應用安全研究報告(11家公司實踐詳解)

  ▊邊界

關注于控制外部使用者或者服務對叢集的通路過程中的身份鑒别,也稱之為身份認證子產品,這是實施大資料安全架構的基礎;在cloudera資料平台中所有元件都能提供基于kerberos的認證功能,某些元件還能提供額外的基于ldap(active directory)或者是saml的認證;

使用者在通路啟用了安全認證的叢集時,必須能通過服務所需要的安全認證方式。在部署身份認證時,根據的企業基礎設施不同,可以選擇不同的部署解決方案。

▊通路

關注于使用者或者應用通路資料時,對使用者的權限定義和實施過程,通常稱為授權;cloudera可以限定使用者是否有對某種資源的通路能力。基于hadoop的資料平台通常都提供了多樣化的資源和服務,但受限于通路控制措施,不得不限制了hadoop使用的廣度和深度。

起初hadoop僅僅是作為etl的補充開放給sql開發者使用,後來各業務分析部門意識到hadoop的便利性,也需要相應資料和服務的通路授權,這就要求大資料平台需要和企業現有ldap或者ad進行整合,同時能給不同應用提供一緻的基于角色的通路控制能力。

cloudera通過apachesentry來完成對大資料系統通路政策的配置和權限控制實施,進而可以實作一緻的通路權限控制配置和實施過程,比如說,一個使用者通過hive或者impala對某張表實施了權限配置,那麼此使用者通過spark或者search通路這個資料時,apachesentry同樣能確定一緻的權限控制效果。

▊透明

了解資料的來源,以及知道資料怎麼被使用的,對監測大資料系統中是否存在非法資料通路非常關鍵,這需要通過安全審計來實作。安全審計的目的是捕獲系統内的完整活動記錄,且不可被更改。

navigator提供了自動化的資料上下遊關系收集,并能進行可視化展示。對任何一個hadoop上的資料源,細緻到資料表的一個列,可以抽取這個列是由上遊的哪些資料源、哪些列,生成了下遊資料源的哪些列。

▊資料

提供資料在傳輸過程及靜态存儲的加密保護,在敏感資料被越權通路時仍然能夠得到有效保護。cloudera推薦通過clouderamanager配置tls來完成資料在傳輸過程的加密,資料的靜态加密可以通過hdfsdata-at-restencryption,navigator encrypt以及navigator key trustee來完成。

關于加密的秘鑰管理,cloudera平台除了支援傳統基于java key store的加密密鑰管理方式外,還提供了navigator key trustee服務提供更好的秘鑰存儲方案,它還能提供和企業現有的hsm內建解決方案。

通過clouderamanager提供的向導式操作界面,友善啟用hadoop的kerberos認證,避免企業使用者受到黑客勒索攻擊。sentry為大資料平台的元件hive,impala,solr以及hdfs提供細粒度的基于角色的權限管理功能,避免資料集中後的非授權通路。

navigator提供大資料平台所有元件的統一審計功能。navigatorencrypt保障資料傳輸過程及靜态存儲都是以加密形式存在避免黑客截取資料及資料洩露。與此同時,cloudera也在不斷加強hadoop生态系統的安全特性,比如record service為hadoop平台提供統一的安全管控。增強kudu,spark等技術在資料存儲及處理的安全。

九、hadoop大資料安全實踐

目前,以hadoop為基礎的大資料開源生态圈應用非常廣泛。最早,hadoop考慮隻在可信環境内部署使用,而随着越來越多部門和使用者加入進來,任何使用者都可以通路和删除資料,進而使資料面臨巨大的安全風險。另外,對于内部網絡環境和資料銷毀過程管控的疏漏,在大資料背景下,如不采取相應的安全控制措施,也極易出現重大的資料洩露事故。

為了應對上述安全挑戰,2009年開始,hadoop開源社群開始注重保護大資料安全,相繼加入了身份驗證、通路控制、資料加密和日志審計等重要安全功能,如圖b-11所示:

大資料應用安全研究報告(11家公司實踐詳解)

身份驗證是确認通路者身份的過程,是資料通路控制的基礎。在身份驗證方面,hadoop大資料開源軟體将kerberos作為目前唯一可選的強安全的認證方式,并以此為基礎建構安全的大資料通路控制環境。基于身份驗證的結果,hadoop使用各種通路控制機制在不同的系統層次對資料通路進行控制。

hdfs(hadoop分布式檔案系統)提供了posix權限和通路控制清單兩種方式,hive(資料倉庫)則提供了基于角色的通路控制,hbase(分布式資料庫)提供了通路控制清單和基于标簽的通路控制。資料加密作為保護資料安全、避免資料洩漏的主要手段在大資料應用系統中廣泛采用,有效地防止通過網絡嗅探或實體存儲媒體銷毀不當而導緻資料洩密。

對于資料傳輸,hadoop對各種資料傳輸提供了加密選項,包括對用戶端和服務程序之間以及各服務程序之間的資料傳輸進行加密。同時hadoop也提供了資料在存儲層落盤加密,保證資料以加密形式存儲在硬碟上。最後,hadoop生态系統各元件都提供日志和審計檔案記錄資料通路,為追蹤資料流向,優化資料過程,以及發現違規資料操作提供原始依據。

基于上述系列安全機制,hadoop基本建構起了滿足基本安全功能需求的大資料開源環境。kerberos作為事實上的強安全認證方式被業界廣泛采用。但由于kerberos采用對稱密鑰算法來實作雙向認證,在大規模部署基于kerberos的分布式認證系統時,可能會帶來部署和管理上的挑戰。普遍解決方案是采用第三方提供的工具簡化部署和管理流程。

通路控制方面,大資料環境通路控制的複雜性不僅在于通路控制的形式多樣,另一方在于大資料系統允許在不同系統層面廣泛共享資料,需要實作一種集中統一的通路控制進而簡化控制政策和部署。資料加密方面,通過基于硬體的加密方案,可以大幅提高資料加解密的性能,實作最低性能損耗的端到端和存儲層加密。

然而,加密的有效使用需要安全靈活的密鑰管理,這方面開源方案還比較薄弱,需要借助商業化的密鑰管理産品。日志審計作為資料管理,資料溯源以及攻擊檢測的重要措施不可或缺。然而hadoop等開源系統隻提供基本的日志和審計記錄,存儲在各個叢集節點上。如果要對日志和審計記錄做集中管理和分析,仍然需要依靠第三方工具。

十、ibm大資料安全實踐

ibm security guardium是一個完整的資料安全平台,提供了一套完整的能力,比如敏感資料的發現和分類、分級,安全性評價,資料和檔案活動檢測,通過僞裝,阻斷,報警和隔離保護敏感資料。

guardium不僅保護資料庫,它還被擴充到保護資料倉庫、ecm、檔案系統和大資料環境等。除了安全平台,ibm架構提供了雲上應用建構的實踐。ibm為大資料分析和安全開發了客戶雲架構,這個構架作為參考架構和行業标準在cscc釋出,它描述了使用雲計算托管大資料分析解決方案的廠商中立的最佳實踐及構成這個架構的所有元件的細節。這個參考架構的所有元件都可以用開源技術實作。

▊ibm安全參考架構和資料安全

如圖b-12所示,ibm安全參考架構提供了保護雲上部署,開發和運維的安全元件的概覽。

大資料應用安全研究報告(11家公司實踐詳解)

在談及資料安全時我們通常需要區分靜态資料和動态資料。資料安全旨在發現、分類和保護雲資料和資訊資産,重點在于對靜态資料和動态資料的保護。

ibm資料安全架構包括所有資料類型,如傳統企業資料及大資料環境中任意形式的資料(結構化的和非結構化的)。ibm資料安全架構囊括了基于治理、風險和合規的資料安全所需要的各個子產品,以下總結了雲計算解決方案中需要考量的資料安全相關的關鍵子產品。

▊資料保護

一個完備的雲計算資料保護解決方案需要考慮将以下服務選項提供給客戶:

雲環境中的靜态資料加密

存儲塊和檔案存儲加密服務

使用ibm cleversafe的對象存儲加密

使用ibm cloud data encryption services(icdes)的資料加密服務

基于雲的硬體安全子產品(hsm)

使用ibm key project的密鑰管理和證書管理

針對以上的每一個服務選項,都需要制定一套具體的流程、控制方案和實施政策用于實施。

▊資料完整性

資料完整性旨在維護和保證資料在其整個生命周期中的準确性和一緻性。在本文的語境中,資料完整性指的是如何防範資料被外界篡改。資料的哈希值可用于檢測資料是否被非法篡改。這個方法可以用于對靜态資料和動态資料提供保護。

▊資料分類和資料活動監測

資料分類是幫助保護關鍵資訊安全的有效方法。在保護敏感資訊之前,必須确定和鑒别它的存在。自動化發現和分類過程,是防止洩漏敏感資訊資料保護政策的關鍵元件。guardium提供了內建的資料分類能力和無縫的方法,來發現、鑒别和保護最關鍵資料,不管是在雲上還是在資料中心。

guardium也可以提供資料活動監測,以及通過認知分析來發現針對敏感資料的異常活動,防止未授權的資料通路,也提供可疑活動的警報,自動化合規性流程,并抵禦内部和外部攻擊。

▊資料隐私和法律法規

資料隐私決定了在相關政策和法律法規所規定的範圍内,如何對資訊(特别是與個人相關的資訊)進行采集、使用、分享和處置。

根據ibm的政策,每一個雲服務都需要實作技術上群組織上的安全和隐私保護措施。這些措施都是根據雲服務的架構、使用目的及服務類型來實作的。無論服務的類型,ibm關于每一個雲服務的具體管理責任,都會在相關的協定中列出。

▊ibm大資料智能安全

ibm大資料智能安全,合并了ibmqradar智能安全平台的實時的安全關聯和異常發現能力以及法庭驗證的能力,和由biginsights提供的包括定制的大規模結構化資料和非結構化資料的分析和發現能力。

十一、microsoft大資料安全實踐

hdinsight是微軟運作在micsoroft azure上的大資料服務。azure hdinsight以雲方式部署并設定apache hadoop叢集,進而提供旨在對大資料進行管理、分析和報告的軟體架構。

微軟的大資料服務azure hdinsight支援多種資料技術,包括基本的hadoop分布式檔案系統hdfs,超大型表格的非關系型資料庫hbase,類似sql的查詢hive,分布式處理和資源管理mapreduce和yarn等等,如圖b-13所示:

大資料應用安全研究報告(11家公司實踐詳解)

hdinsight作為azure雲服務的一部分,azure從多個方面提供了安全保護,其中包括:

▊使用azureblob存儲

azureblob存儲是一種與hadoop相容的選項,是一種穩健、通用的存儲解決方案,它與hdinsight無縫內建。通過hadoop分布式的檔案系統hdfs界面,可以針對blob存儲中的結構化或非結構化資料直接運作hdinsight中的整套元件。通過将資料存儲在blob存儲中,可以安全删除用于計算的hdinsight叢集而不會丢失使用者資料。

▊密鑰保管庫

安全的密鑰管理對在雲中保護資料必不可少。借助azure密鑰保管庫,可以通過使用硬體安全子產品(hsm)中存儲的密鑰對密鑰和小密文密碼進行加密。為了增加保障,可以在hsm中導入或生成密鑰。如果選擇這樣做,microsoft将使用fips140-2第2級認證的hsm處理使用者的密鑰。

密鑰保管庫設計用于確定microsoft不會看到或提取使用者的密鑰。通過azure日志記錄監視并稽核密鑰的使用情況——将日志傳送到azure hdinsight或siem中以進行額外的分析和威脅檢測。

▊多重身份驗證

azure多重身份驗證是要求使用多種方式(而不僅僅是使用者名和密碼)對使用者的身份進行驗證的一種方法。它為使用者登入和事務提供了附加的安全層。azure多重身份驗證可幫助保護對資料和應用程式的通路,同時可以滿足使用者對簡單登入過程的需求。它通過各種簡單的驗證選項(例如電話、短信、移動應用通知或驗證碼)來提供強大的身份驗證。

▊azure active directory(azure ad)

azure ad是microsoft提供的基于多租戶雲的目錄和辨別管理服務。azuread包含整套辨別管理功能,例如多重身份驗證、裝置注冊、自助密碼管理、自助組管理、特權帳戶管理、基于角色的通路控制、應用程式使用情況監視、多樣化稽核以及安全監視和警報。

本文轉自d1net(轉載)

繼續閱讀