天天看點

智能資料湖勢在必行

由大資料觸發的資料驅動的做法是一種最好的了解。如今,各個組織正在各種資料結構,格式和分布式地理資料源位置等方面進行競争,并在時間架構和數量上超過了現有系統的能力。

智能資料湖勢在必行

以往人們關注了社交,移動和雲平台的應用與發展。同樣重要的是,在大資料時代之後湧現出的幾種輔助技術得到了蓬勃發展,由此産生的基礎架構,架構,以及it挑戰表明,整個資料環境發生了模式轉變,這種變化是由改變業務進行方式的力量的開始決定的。

由于這種轉變的迅速性和其需求的即時性,許多組織希望在市場上尋找最好的解決方案,并有大量的點解決方案來解決資料景觀的大規模系統變化,而這些零碎的方法在短期内提供有限的價值,但是由于供應商的鎖定和業務的需求不斷變化,長期來說其最終成本更高。

此外,即時的反應需要不同的工具來管理大資料的每個方面複雜的架構,同時耗費大量的時間。這種方法的根本缺陷是,這樣的工具不是明确設計用于大資料,這限制了其在大資料革命後的價值。

大資料的湧入指出了一系列跨行業因素産生創新的方式,從最初的采納到分析。這些普遍存在的市場力量對于為資料管理過程的每個方面需要針對大資料技術設計的全面方法是有幫助的。

大量的資料使得需要一個集中的平台,應對當今和未來的資料驅動實踐的每一個方面,最好以終端使用者管理的自助服務智能資料湖的形式實作。

無處不在的市場力量

了解負責重塑資料環境的市場力量的性質,需要在技術和非技術方面對其進行分析。在前者中,對smac(社交,移動,分析和雲計算)的依賴代表了通路大資料手段的最大決定因素。這些技術深深地影響了大資料對企業的擷取形式和形式。它們最顯著的效果可能是它們所使用外部資料創造的前所未有的價值,這反過來又有助于強調這種資料與内部資料的內建。同樣,他們負責多元結構資料的突出和其固有價值的企業的複雜性。

這種複雜資料格式所帶來的新穎的複雜性通過單一集中的語義平台的流線型架構而被均勻地緩解。具體來說,通過在rdf圖上連結在一起的演進的語義模型來無縫地合并資料源和類型的多樣性的多結構化格式。在該架構内,所有資料元素以标準化方式彼此并排表示,代替了對傳統方法所要求的各種結構化資料管理不同資料庫,資料模型和模式的需要。在這樣的獨特平台中,其架構和底層基礎設施被明顯簡化,相應地降低了成本。

非技術力量的典型代表是加速的業務步伐,并在這些縮短的時間架構内解析的資料量。企業進行的速度會受到網際網路的普遍性以及它在工作流中根深蒂固的實時響應的巨大影響。這種權宜之計是大資料的其他規定,例如目前流行的傳感器資料,移動通信的快速性,以及這些因素能夠産生的機會的增加。在這些力量的影響的關鍵考慮是它們的臨時性質。組織可以獲得更多的機會,但他們也稍縱即逝,需要對時間敏感的方法來利用資料。

綜合平台解決了這些加速的時間問題,使終端使用者在決策和基于分析的行動階段比零碎的方法更快。對單個節點的語義圖表示适當的加速調整模式和重新調整了模型與其他方法的奇異性。加速了整個資料準備過程,這可以壟斷最好的資料科學家的時間,或者最基本的以資料為中心的需求過分依賴it。使用者能夠投入更多的時間用于資料發現和分析,分享現代企業制定的速度。

解決正常問題

上述力量已經塑造了資料環境,由于日益分層的資料管理過程的必要性,導緻集中的語義平台廣泛的問題。來自smac技術的多結構化資料以快速傳遞的大量資料可能對資料格局的正常領域造成嚴重破壞,包括:資訊治理,資料準備,資料內建,搜尋和發現,商業智能和文本分析。

當考慮采用點解決方法的孤島方式處理資料的這些方面時,容易成為供應商鎖定或昂貴的更新的犧牲品,進而産生大量的停機時間。這種方法最大的問題是,當業務需求或流程改變時,會缺乏靈活性,任務組織重新啟動手段實作,這六個重要功能之一。是以,當他們的系統不能産生價值,同時被迫采用更多的系統維護時,組織會花費更多的時間。

集中式方法的核心價值主張是實作資料使用的所有必要條件的整體方式。通過向現有系統提供必要的覆寫,該方法能夠在短期和長期中實作收益。立即獲益包括更大程度的企業治理監督,部分通過标準化模組化促進,在大多數情況下,包括所有企業資料。随後,資料來源和資料模組化更容易解釋,并且更易于追蹤,這加速了內建嘗試。其結果是更快地洞察在組織範圍内的治理協定與高度可見的資料,增加對資料資産的信任。

随後的收益與這種洞察的性質有關,遠遠超過從點解決方案中收集的收益。語義圖的連結資料方法集中于節點之間的關系洞察,這有助于其他技術無與倫比的看似無關的資料元素的背景文化。使用者能夠有更多的資料,以識别他們之間的關系,以及他們的使用情況,否則是無法發現的。

此外,這種連結資料方法使資料發現過程在很大程度上實作了自動化,同時提供了探索性分析,使用者可以在其中詢問和回答盡可能多的問題。分析的結果是全面明确,并且包羅萬象。采取零碎的方法,實作這些目标是困難的。。

預期未來的發展

培養對集中化需求的最緊迫的營銷力量是大資料本身日益擴大的影響。對未來幾年生産的資料量的預測表明,其擴張并不會停止和停滞。當考慮連接配接的裝置的數量全部無限地在物聯網中産生資料,以及增強現實和虛拟現實的進步,并考慮這樣的資料的人工智能選項的可用性時,顯而易見的是大資料的規模,速度,結構将在不久的将來大量增加。

集中的圖形感覺環境為這些即将到來的技術進步做好準備。使用它作為hadoop或其他資料湖設定的基礎,使其具有在這種工作負載密集型資料驅動部署中持續提供價值所需的規模和性能一緻性。更重要的是,它是一個單一的手段簡化每個元件的短期解決方案,點解決方案不是為大資料的需求而建立的。這種方法對于目前來說是不夠的,并且對于未來大資料應用的更嚴格的負擔當然不可行。這樣的實作僅僅支援這樣的觀念:集中的,關系精明的語義圖解表示用于以管理資料為中心的需求的工業力量的融合。

必要的集中

從大資料的變革性可以看出,無論何處部署資料都可以提高業務價值。它的增長可以歸因于業務加速,支援技術的新生态系統,以及企業中資料類型的多樣性的快速發展。它隻有單純的市場力量,需要一個整體的手段來管理每個謹慎的元件轉換資料到洞察行動。這些力量的影響是消除對現有基礎設施簡單地附加一些附加工具的需要。

相反,它強制要求簡化企業架構,實施成本效益好的基礎設施,用于包圍企業的大量資料類型和技術,并且監督長期重用資料所需的組織範圍治理和來源。如今的市場力量促成了對這種整體資料管理的需求同,而未來是強制性的。

本文作者:佚名

來源:51cto

繼續閱讀