我們生活在一個越來越依賴資料的社會，資訊正變得和金錢一樣。例如，許多消費者使用谷歌、Facebook、亞馬遜、微軟和蘋果等網際網路巨頭提供的免費服務。作為服務的回報，這些公司可以追蹤他們的線上行為，并進行商業化變現。
顯然，資料閘門現在正在向各種規模和類型的企業開放。通過及時的分析，能夠給企業帶來很多的競争優勢。雖然說目前大部分企業都把目光偏向到客戶行為上，但資料可以在産品或服務供應鍊的多個環節中獲得，而且有多種形式——傳統的（結構化的）、臨時的（非結構化的）、實時的、物聯網——或者是M2M（譯者注：M2M全稱Machine to Machine,是指資料從一台終端傳送到另一台終端,也就是機器與機器的對話）生成的，等等。
成功利用大資料的公司可以節約成本，并提高營運效率，從資料驅動的創新中獲得豐厚的回報。同時，大資料也可以幫助企業實作數字化轉型，讓它們能夠在面對任何颠覆性的創業公司時保持競争力。
然而，有用的商業見解不會自動從各種各樣的資訊中浮現出來。企業必須識别、組織和分析可操作的資料，并将資料分析的結果與業務相關部分結合起來。這需要規劃、預算以及合适的工具和專業知識等支援。
IDC 和Seagate報告還預測，全球範圍内的大部分資料來源将從消費者轉向企業，後者産生的資料在2025年将占到整體的60%。根據這份報告，推動這種轉變的趨勢包括：資料從作為商業背景到決策關鍵的轉變；嵌入式系統和物聯網的發展；改變現狀的認知/人工智能系統的發展；移動和實時資料的産生；以及安全正在逐漸成為一個關鍵的基礎等等。
所有這些資料都需要一個“家”，要麼是永久的，要麼是暫時的，這就解釋了Seagate這樣的存儲公司是怎麼掙錢的。
雖然我們可以從研究報告中看出大資料時代已經到來，但資料的價值并不是‘已知的’，而是‘未知的’，我們嚴重低估了這一潛力。真正令人興奮的是分析‘新業務、新思維和新生态系統，從機器人和機器到機器學習等行業’，以及它們帶給我們社會和經濟的影響。資料能夠給今天和未來的企業家帶來巨大的價值，我們的全球商業領袖将在未來幾十年裡探索這些機會。”
當然，并不是所有資料都能夠用于分析。例如，在2025年的資料時代報告中，IDC估計到2025年，全球資料中大約20％的資料對我們的日常生活至關重要，其中10%的資料将會是“超級關鍵”的。
該報告指出：“超級關鍵資料的出現，迫使企業必須開發和部署資料采集、分析和基礎設施；保證資料存儲的可靠性、可用性以及更安全的系統；并進行新的業務實踐，甚至制定新的政策與規定，來減輕、轉移和削弱潛在的負債風險。”
人工智能和機器學習将越來越多地參與到大資料分析中，這進一步限制了可用的資料量。在報告中，IDC估計，到2025年底，全球資料中被标記的隻有15％，是以才适合人工智能/機器學習分析。
每年，各種技術領域的專家都會對目前的趨勢進行總結，并對未來12個月做出預測。大資料也不例外，我們整理了多個專家在2017年做出的預測，并對這些預測進行了分類。以下是一些分析結果：
資料主要來自：Acodez，Big Data Made Simple，Datafloq，Datameer，Enterra解決方案，Gartner，惠普，IBM，Infogix，MapR，甲骨文，Ovum，Pentaho，Quantzig，RTInsights，Sysmech，Tableau軟體
此外，在2017年的預測中被廣泛關注的還涉及資訊、資料科學與資料工程、大資料擴散與治理以及基于雲的分析與內建資料服務。
NVP的大資料調查顯示，80.7%的受訪者認為他們的大資料投資是成功的，有48.4%的受訪者表示“結果是可以測量的”。後者被細分為“極緻成功”（颠覆性/創新/變革型，21%）和“非常成功”（進化型，27.4%）。
正在進行的各種大資料相關項目中，排名第一的是“通過營運來降低成本，提高效益”，占比72.6%。68.7%的受訪者認為這是一個“為創新和颠覆創造新的途徑”。
盡管有很多公司都啟動了相關項目，并取得了不小的成果。但根據NewVantage Partners的報告。在《财富》1000強的企業中，似乎仍難以建立資料驅動的企業文化:69.4%的公司已經開始采取行動，但隻有27.9%的公司表示有效果。
在為什麼難以建立一個資料驅動的企業文化問題中，NVP的調查發現，“組織協調不足”的比例在42.6%左右，排在“缺乏中層管理人員接受和了解”（41%）和“商業阻力或缺乏了解”（41%）之前。
上面的圖表顯示，難以建立一個資料驅動的企業文化的阻礙是業務部門，而不是IT部門。因為資料整理、技術了解和資料分析方法等問題基本上沒有多少應答者提及（小于30%）。
首席資料官（CDO），是企業具有資料驅動型的文化，或正在實作這一目标的關鍵名額。調查顯示，财富1000強的企業近年來在這方面取得了進步。
雖然說，擁有CDO的公司的數量已經從2012年的12%提升到了2016年的60%。但是大多數（56%）受訪者認為他們目前的角色是“防禦性”的——主要是對監管和合規要求做出反應。
展望未來，受訪者認為CDO應該變得更具“攻擊性”——帶頭推動創新，打造資料文化，并将資料管理轉變為企業資産。
這大概就是為什麼大多數人（53.4%）認為，CDO應該向首席執行官（35.6%）或首席營運官（17.8%）彙報，而不是首席資訊官（15.6%）。
NVP的調查還詢問了受訪者，除了大資料之外，還有什麼會在未來10年裡對自己的企業産生影響。人工智能和機器學習的排名靠前，這一點也不奇怪——無論是單選還是多選。
當被問及成功推進大資料為企業的主要驅動力有哪些因素時，71.4%的受訪者表示是“清晰的願景”，其次是“管理層的支援”（51.2%）和“系統支援和流程支援”（40.1%）。
與上面的NewVantage調查一樣，當涉及到大資料戰略推進的阻礙時，“業務”因素似乎比“IT”問題更突出。
當然，這并不是說IT問題不重要。當被問及建立大型資料基礎設施的挑戰時，排名靠前的兩種回答涉及資料品質和資料可用性：
一旦有了足夠多的高品質資料時，在企業以資料為驅動力的流程建立好之後，受訪者将“大資料知識和資料科學的訓練”列為最大的挑戰，占比47.4%。
與NewVantage Partners一樣，GoDataDriven也向受訪者詢問了人工智能的情況。盡管目前隻有14.3%的人實際運用了深度學習和人工智能，但52%的人要麼正在開發，要麼計劃在三年内運用深度學習和人工智能。
人工智能肯定是在公司的議程上，但顯然是在早期階段：在這一領域中，隻有五分之一（21.5%）的受訪者表示沒有計劃。
“幾乎所有的客戶都有一個大資料計劃，許多項目都進行了大量的投資。但他們所取得的進步，他們從投資中獲得的價值，往往無法達到預期效果。”Nijhawan一開始就這樣說道。
他補充說：“我們正在與客戶合作的一些事情，我們認為是可以帶來變革的。主要是資料治理、資料準備、自助服務和更小的資料湖（譯者注：資料湖泊是包含下面兩個特征的資訊系統：a.可以儲存大資料的并行系統；b.能夠在資料不移動的情況下進行計算的系統）部署的結合。”
問：是以你會說，從大資料中擷取商業洞察的主要瓶頸是“發現公司所擁有的有價值資料，并使其可供分析”？
“是的，大部分的關注點都是提供存儲環境——Hadoop，并讓每個人都能将任何資料轉儲到其中。”這裡要注意兩件事情：首先，向Hadoop存儲資料的目标是什麼？其次，即使資料存在，但是無法管理，無法搜尋，也無法挖掘，而且也沒有辦法使用資料去吸引消費者，來幫助企業獲得價值。它非常依賴于技術，仍然需要技術人員來處理它。這并不是從這些投資中擷取價值的最佳方式。”
問：這是否意味着“業務”與科技之間存在脫節——組織需要培養“資料文化”，讓業務部門知道如何正确地分析資料，并産生商業洞察力？
“我們當然需要以資料驅動的企業文化。這并不是IT人員不想分享的東西。隻是他們有這些工具，他們覺得自己做得很好，但他們并不知道分析資料最終的目标是什麼。這就是為什麼需要業務驅動了，否則很難實作任何有意義的事情。”
問：在許多組織中是否存在缺失的一環——首席資料官（CDO），誰能将業務部門連接配接到IT部門？
“這絕對是一個缺失的環節，但我不會說這隻是一個人的問題。剛剛提到的“資料文化”指的是人、流程和技術，以及資料本身。這實際上是一個關于端到端的流程：這是如何從資料中擷取所需資料的方式，也是如何處理資料的方式，更是如何傳遞資料的方式。這個端對端流程需要由業務負責人來發起，當然也可以是CDO。如今，首席資料官這個職位的問題在于，在許多企業中，它幾乎都是一種官僚主義的立場：該CDO據稱具有影響力，但最終卻成為了供應商用來推銷技術的人，而不是那些為了實作商業目标而在那裡工作的人。”
問：當你與客戶交談時，目前哪些資料相關的技能最火？一些分析人士發現，企業對資料科學家的需求有所減弱。
“我認為需求正在減弱，但這并不是因為資料科學家的數量太多了。而是因為現有的資料科學家無法實作企業想要的價值。是以，問題就變成了：如果企業沒有獲得價值，那麼招募更多的資料科學家有什麼意義？為什麼企業的營運人員、資料分析師不能更好的處理這些資料呢？
老實說，他們可以做到，因為資料科學家所解決的80%的問題都可以通過20%的算法來解決——而且這些算法都以易于使用的方式公開了，資料分析師和業務分析師可以将這些資料整合到營運和業務流程中。我認為這種情況正在發生，結果是對資料科學家的需求減少了。”
問：我們經常聽到“自助式”分析，讓更少的專家參與進來。你認為這個技術發展到什麼程度了呢？
“我們對客戶的做法是，我們首先會看到他們的資料湖項目在什麼地方，然後告訴他們：也許你不需要花幾個月和數百萬美元來使用這些整合的開源技術。我們将為你提供一個完全自助服務的端到端裝置，裝置中所有東西都內建了，你所要做的就是使用這些資料來進行決策。你可以解雇你的業務人員，資料科學家，無論誰。這在市場上獲得了很大的吸引力。
問：每個人都在談論機器學習和人工智能，你認為它将會在大資料領域發揮作用嗎？
“它已經存在了一段時間了，但是現在有很多關于它的新聞。就像我之前說過的那樣，80%的問題可以通過20%的機器學習算法解決，比如切分、推薦、分類、回歸和預測。我們關注的一個領域是大資料的品質，傳統的資料品質一直都是關于精确比對規則和重複規則等方面。現在資料量很高，人們向資料湖存儲更多的資料，他們并不知道确切的規則是什麼。相反，我們正在使用機器學習算法，比如切分和分類來尋找異常值。這就是機器學習已經增加了很多價值的地方——但同樣的，你不需要非常成熟的資料科學家來做這件事。”
問：最後，你是否認為，随着自助工具的出現以及非專家、甚至“公民資料科學家”的參與，大資料領域正在進行民主化？
“我認為這是會發生的。這是對‘大資料’的投資能夠持續、價值實作的唯一方式——沒有其他選擇。在IT和供應商領域，有足夠多的人來推動這個問題，并找到能夠實作這一目标的方法，可能還有三到五年的時間。在這期間，人們可能不會過多談論“大資料”。相反，他們會談論以自助服務方式傳遞的大資料的分析結果。”
關于資料的各個方面還有很多，未來也會有更多的資料，但如果要經常把大資料轉化為有價值的商業見解，企業還有很多工作要做。資料驅動型企業文化的建立以及資料科學家和工程師的增多（無論是從外部招募還是在内部教育訓練），都将有助于推動這一過程，至少在短期内是如此。
是以，資料科學家和工程師将需要從大量不同種類的資料中提取資訊和知識，資料驅動的文化将確定提出正确的問題，進而讓了解——甚至是智慧——到達企業的相關部門。
展望未來，自動化水準越來越高——尤其是在資料準備領域，以及自助服務分析工具的普及，将使專家之外的營運人員輕松獲得從資料中得出的見解。
編譯組出品。編輯：郝鵬程
編者按：随着網際網路的普及化以及物聯網的快速發展，人們産生的資料也越來越多。早幾年前，馬雲就突出了目前是“DT”時代的說法。但資料的多并不代表着就是好事，隻有被利用起來的資料才是好事。有人将資料稱為是“新石油”，這個比喻是非常恰當的。因為石油本身沒有任何價值，它必須被提煉成汽油或塑膠才有價值。同樣地，我們都被大量的資料淹沒了，但為了獲得真正的價值，這些資料必須被提煉成商業見解。文章發表在ZDNet，由36氪編譯。
目前，這種交易的最大的問題之一就是開放性，人們的個人資訊（有時是無意的）會洩露給為他們提供網絡服務的企業。近期在大西洋兩岸的投票都表明，有些資料管理機構能夠利用大量的使用者資料（包括人口統計資料、消費者行為和網際網路中的活動），來對廣告、新聞報道和服務進行微觀定位，以完成特定的目的。
顯然，資料閘門現在正在向各種規模和類型的企業開放。通過及時的分析，能夠給企業帶來很多的競争優勢。雖然說目前大部分企業都把目光偏向到客戶行為上，但資料可以在産品或服務供應鍊的多個環節中獲得，而且有多種形式——傳統的（結構化的）、臨時的（非結構化的）、實時的、物聯網——或者是M2M（譯者注：M2M全稱MachinetoMachine,是指資料從一台終端傳送到另一台終端,也就是機器與機器的對話）生成的，等等。
資料量到底有多少？
人們會定期估算每年全球産生的資料量，以及以何種形式産生資料。早在2014年IDC和EMC釋出的報告中，2013年的資料量有4.4ZB，即4.4萬億GB，并預測2020年這一數字将增長至44ZB，每兩年翻一番。根據IDC和Seagate的資料，估計2025年的資料量為163ZB，比2016年的16.1ZB增加10倍。
IDC和Seagate報告還預測，全球範圍内的大部分資料來源将從消費者轉向企業，後者産生的資料在2025年将占到整體的60%。根據這份報告，推動這種轉變的趨勢包括：資料從作為商業背景到決策關鍵的轉變；嵌入式系統和物聯網的發展；改變現狀的認知/人工智能系統的發展；移動和實時資料的産生；以及安全正在逐漸成為一個關鍵的基礎等等。
在釋出這份報告的聲明中，Seagate首席執行官SteveLuczo表示：
都有哪些資料？
大資料趨勢和預測
資料主要來自：Acodez，BigDataMadeSimple，Datafloq，Datameer，Enterra解決方案，Gartner，惠普，IBM，Infogix，MapR，甲骨文，Ovum，Pentaho，Quantzig，RTInsights，Sysmech，Tableau軟體
對于大資料行業觀察者來說，2017年最有影響力的領域是人工智能、機器學習、自動化和認知系統。例如，分析公司Ovum認為，“機器學習是一個巨大的颠覆者”、“嵌入式機器學習的分析應用正成為常态”。
如果企業要避免被資料淹沒，提高自動化水準幾乎是不可避免的——或者，正如EnterraSystems所言：“随着資料量的增加，人工智能将變得越來越重要。”
另外一個重要的話題是“資料驅動的商業決策”的出現。甲骨文簡潔地指出，“應用，而不僅僅是分析，推動了大資料的程序”，而Gartner預測“資料和分析将推動現代商業營運，而不僅僅是反映他們的業績”。
一些調查報告
自2012年以來，管理咨詢公司NewVantagePartners（NVP）一直在調查财富1000強企業的大資料部署情況，并于2017年4月釋出了第五份報告（調查對象是這些公司的管理者）。
盡管有很多公司都啟動了相關項目，并取得了不小的成果。但根據NewVantagePartners的報告。在《财富》1000強的企業中，似乎仍難以建立資料驅動的企業文化:69.4%的公司已經開始采取行動，但隻有27.9%的公司表示有效果。
從歐洲的角度來看，我們研究了荷蘭資料咨詢公司GoDataDriven的大資料調查，調查對象來自2016年荷蘭的大資料博覽會參會人員。共有315人，包括168名高管和147名經理。
與NewVantagePartners一樣，GoDataDriven也向受訪者詢問了人工智能的情況。盡管目前隻有14.3%的人實際運用了深度學習和人工智能，但52%的人要麼正在開發，要麼計劃在三年内運用深度學習和人工智能。
專家怎麼看？
為了解大資料的運作狀況，我們采訪了SumitNijhawan。他是提供資料治了解決方案企業Infogix的首席執行官和總裁，他們對2017年資料趨勢進行了前瞻性分析，以下是采訪中的一些關鍵觀點。
前景
正如天文學家CliffordStoll所說：“資料不等于資訊，資訊不等于知識，知識不等于了解，了解不等于智慧。”
本文轉自d1net（轉載）