企業如何面對資料存儲危機

Industry Outlook是一個介紹有關資料中心和IT的市場趨勢，技術和其他問題的專家觀點的資料中心行業媒體。

Industry Outlook日前與Peter Godman探讨了資料的爆炸式增長以及企業如何管理資料等令人關注的問題。Peter

Godman是通用級檔案存儲供應商Qumulo公司的共同創始人和首席技術官，主要工作是指導産品開發和管理，在分布式檔案系統和高性能分布式系統方面具有豐富的專業知識。

IO：目前企業在資料方面面臨的最大挑戰是什麼？

PG：資料正在爆炸式增長，每兩年翻一番。其中的大部分資料中心都是在傳統存儲系統進行存儲的。要部署具有突破性創新的關鍵任務工作流，資料密集型組織必須随時随地利用和挖掘其資料的價值。他們需要在任何操作環境（PB級和全球範圍内）自由存儲，管理和通路基于檔案的資料。

IO：過去10年來出現了哪些重大變化和進步，促成了這種情況？

PG：企業的全球營運模式已經形成了新的規模需求，包括存儲的檔案數量，實時管理大量資料足迹的能力，全球資料分布以及利用雲計算的需求。是以，企業正在尋找能夠幫助他們在資料中心和雲計算之間移動和共享基于檔案的工作負載的技術。智能的檔案存儲系統是為了滿足現代企業的需求而設計的，它既能在本地部署的資料中和雲端中擴充性能和容量，又無硬體限制。

IO：資料危機對哪些行業影響最大，為什麼？

PG：資料密集型行業離不開技術創新。而媒體、娛樂、科學計算、電信、生命科學和醫學研究，以及汽車等行業受到的影響最大，因為它們的分布式資料集存儲應用在在全球分布的各個地點，并具有數以億計的文檔的龐大規模。

例如，在媒體和娛樂行業中，數字動畫電影的渲染能夠生成數百TB到數PB的資料。一部電影可能包含超過5億個檔案和2500億像素，資料密集的模拟可以從視訊遊戲的小規模序列發展到數十億個資料點和每秒數千兆位的吞吐量需求。

同樣，科學計算和圖像生成大量的檔案資料。無論是研究人員涉及三維醫學成像，電子顯微鏡還是自然現象模型，他們都在使用越來越複雜的模拟和分辨率越來越高的圖像來實作其突破，但這需要處理數十億個檔案，同時保持高性能，并深入了解比以往任何時候都更重要的資料。

IO：資料呈指數級的增長速度是不可持續的，最終會阻礙資料存儲的增長。有沒有看到任何可以滿足這樣的成本，技術限制，實體空間需求的技術或産品？預計這個巨大的增長會持續多久？

PG：至少在未來的10到15年間，存儲容量将會每兩年翻一番。華盛頓大學的專家LuisCeze及其同僚一直緻力于密度和壽命都很高的DNA資料編碼。人們将要開始面臨的一個重大挑戰是，相對于容量而言，傳遞的可用性數量正在迅速減少。十五年前，HDD提供了1,000IOPS/TB的存儲吞吐速度。如今數字更像是1012IOPS/TB。十年後，人們将面臨大量的資料，但能夠積極處理的資料越來越少。

存儲級存儲器的密度必須至少每四年翻一番，以彌補摩爾定律，這就是說，晶圓廠的成本每四年增加一倍！這樣做似乎很容易。随着切換到3D堆疊技術，有機會在晶片上堆疊得更高，并減少恢複過程。也就是說，按照人們正在進行的速度，半導體晶圓廠在10年内的市值将高達1000億美元，其數量将來越來越少。

決定删除哪些資料是一個謹慎的過程，而錯誤删除是令人痛苦的。密度的增加使得儲存所有東西變得容易，隻要存儲變得更密集，人們就會不斷填充。

IO：存儲行業在幫助企業提供存儲技術和應用的過程中扮演什麼角色？正在進行哪些創新？

PG：要以PB級擴充本地和公共雲存儲，人們需要一個全新的企業級存儲級别，允許企業建立單一的全局資料足迹。這種新型的企業存儲将被傳統的資料存儲到安全的地方。

IO：雲計算将扮演什麼角色？

PG：雲計算為現代資料驅動型企業提供了幾個核心優勢。它提供了靈活性：配置和釋放資源，并且用時越來越短。它可以根據需要通路TPU，GPU和其他計算資源。最後，它提供了彈性，允許資料驅動的企業在短時間内使用大量的計算。

IO：你能描述一下雲端的資料量與内部部署的資料量嗎？有沒有預見會遇到某種限制？

PG：這很大程度上取決于如何定義雲計算。如果企業采用的是IaaS+PaaS+SaaS，則大部分資料可能已經存在于雲中。盡管如此，資料的增長仍然是在邊緣，雲計算資料生存的自然限制是光速。專家PeterLevine最近做了一個名為“回到邊緣和雲端計算的終結”的演講，探讨了這個問題。世界上的大部分資料需要與納秒或微秒的決定區分。雲計算離大多數決策還很遙遠。在一段時間内，人們将處于一個主權，成本，延遲和安全緊張的地方。除此之外，人們可以在雲中存儲多少資料沒有實際的限制。

IO：随着企業越來越依賴雲端進行資料存儲，資料所有權和隐私權将會得到多大的關注？這樣的問題對轉型的影響很大？還是隻是一個轉折的過程？

PG：資料主權法對公共雲使用者來說是一個巨大的挑戰，也是公共雲的一個很好的機會。能夠通過标準API輕松移動資料以符合法律或審計通路，其權限是強大的。例如，雖然數以萬計的IT專業人員可能仍需要學習資料主權法律，盡管雲計算可能會無意中違反這些法律，但雲計算也會遵從一個API。總之，雲計算應該通過對許多IT團隊的努力進行重複删除而使資料主權和所有權更加容易。

IO：您是否有資料或如何估計資料存儲成本，特别是長期和短期趨勢是什麼？

PG：如今的一個10TB機械硬碟售價大概是360美元，也就是36美元/TB。如果購買1.6TBSSD硬碟，則是850美元左右，或850美元/TB。現在同等容量的情況下，閃存仍然比硬碟貴10倍（假設人們可以在閃存上進行壓縮和重複資料删除，但是出于某種未說明的原因而不是在硬碟上）。15TB的LTO7錄音帶的價格可能不到100美元，或者說6美元/TB。是以錄音帶是HDD硬碟成本的六分之一，是NAND閃存成本的十分之一。HDD硬碟和NAND閃存容量之間的差距目前有所增加。

幾年前，處在閃存和錄音帶之間的HDD硬碟壓似乎很快将要消亡。最近，HGST公司宣布已經使微波輔助磁記錄成為可能，并預測這項技術将使它在未來每年地提高50％的存儲密度。如果這個預測結果是正确的，十年來，相同容量的HDD硬碟的成本可能隻是閃存的十分之一。這種情況給存儲系統帶來了巨大的壓力，将會繼續提供混合解決方案，以便利用閃存性能和HDD硬碟的容量。

IO：如何看待未來五年企業存儲和資料中心行業的變化？

PG：在接下來的五年裡，人們将看到雲計算和本地資料中心的合理化。企業會将許多應用程式遷移到公共雲。移動應用程式的難點在于移動他們的資料。促進移動的存儲産品将會蓬勃發展，存儲産品如果在應用程式遷移過程中在技術方面落後，将會失去存在的意義。最後，存儲将被分為廣泛使用，相關的便攜式資料管理，以及不太相關的存儲點解決方案幾種類型。

本文轉自d1net（轉載）