大資料時代的新生态

“資料，已經滲透到當今每一個行業和業務職能領域，成為重要的生産因素。人們對于海量資料的挖掘和運用，預示着新一波生産率增長和消費者盈餘浪潮的到來。”大資料時代的到來，最早由全球知名咨詢公司麥肯錫提出。 　　的确，這是大資料的時代。在紐約市曼哈頓區南部的華爾街，投行根據群眾情緒抛售股票；對沖基金依據購物網站的顧客評論，分析企業産品銷售狀況；就在剛結束不久的巴西世界杯上，谷歌的雲計算平台通過對大量球隊資料的分析，成功預測了世界杯16強比賽每場比賽的勝利者。 　　大資料是繼雲計算、物聯網之後，IT行業又一大颠覆性的技術革命，當雲計算為資料資産提供保管、通路的場所和管道時，資料才是真正有價值的資産。無論是企業内部的交易資訊，還是網際網路世界中的商品物流資訊，其數量與實時性将遠遠超越現有企業IT架構和基礎設施的承載能力。 　　曾經很長一段時間裡，大資料隻停留在概念層面，而網際網路、移動裝置的發展則讓這個概念落地成為現實。大資料意味着什麼？如何盤活這些資料資産，以促進企業業務創新，利潤增長？這些都是大資料的核心議題。 　　大資料價值 　　從字面了解，大資料首先要足夠“大”。 　　一組名為“網際網路上一天”的資料告訴我們，一天之中，網際網路産生的全部内容可以刻滿1.68億張DVD；發出的郵件有2940億封之多（相當于美國兩年的紙質信件數量）；賣出的手機為37.8萬台，高于全球每天出生的嬰兒數量37.1萬……截至2012年，大資料的量級飛速增長，資料量從TB（1024GB=1TB）級别躍升到PB（1024TB=1PB）、EB（1024PB=1EB）甚至ZB(1024EB=1ZB)級别。IBM的研究稱，整個人類文明所獲得的全部資料中，有90%是過去兩年内産生的。到2020年，全世界所産生的資料規模将達到今天的44倍。難怪亞馬遜前任首席科學家Andreas Weigend說，“資料是新的石油。” 　　1号店董事長于剛在接受媒體采訪時表示，大資料的價值展現分四個階段。一開始資料是原始和零散的，表面看不出規律，經過過濾群組織後成為資訊；再将相關聯的資訊整合和有效呈現後轉化為知識，把對知識的深層領悟升華到了解事物的本質，并可以舉一反三成為智慧。是以資料是源頭，是決策和價值創造的基石。 　　而對于不同行業，大資料有着其特有的意義與價值。 　　在網際網路行業，大資料指的是這樣一種現象：網際網路公司在日常營運中生成、累積的使用者網絡行為資料。以百度、阿裡巴巴、騰訊等巨頭為代表的平台型企業彙集了海量使用者和商家，聚內建富有張力的生态系統。它們的大資料應用不再僅僅局限于企業本身，而是逐漸成為滋養整個大生态系統的血液。 　　阿裡巴巴資料委員會主席車品覺曾一語道破阿裡巴巴的大資料政策。“在資料化營運階段時，資料就産生價值，你有意識地用它，但卻沒有關注它。而當你發現資料已經和戰略融合後，你認識到要有意識收集它，管理它。”如果将阿裡巴巴的大資料比做食材，那麼自己用原料做菜，和将食材提供給其他廚師相比，二者對原料的關注度完全不同。 　　易傳媒移動營運研發中心副總裁高照在接受《中國産經新聞》記者采訪時表示，對于網際網路企業來說，大資料意味着“能帶來立刻購買與回報的資料”，即立刻能促進使用者購買的資料。 　　“毫無疑問，網際網路企業對于資料非常重視，隻不過他們在大資料的層次上稍有不同。這些企業接近最終消費達成的一端，他們本身就是資料制造者，擁有海量的使用者消費資料。同時他們擁有處理資料，以及挖掘資料的能力。”高照說道。 　　硬币的一面是網際網路企業對于大資料的娴熟運用，另一面則是傳統行業在大資料的語境下被網際網路企業徹底颠覆。 　　傳統意義上，金融系統都是基于資料庫的，很多金融業務系統已經建構，如BI、資訊分析。然而根據科斯定理，基于大資料的直接金融交易或會令金融機構的中介價值消失。假設在網際網路支援金融市場完全網際網路化，完全是供求方和需求方直接交易的情況下，交易成本會減少很多。 　　有專家認為，大資料可以提高金融機構的營運效率，降低成本。如果将網上銀行、網上保險這些非結構性資料都備植到大資料平台上，則可以在曆史資料和新資料增量的背景下，為金融機構提供全面的資料分析與整合。 　　《網際網路金融》雜志副總編、中央民族大學法學院教授鄧建鵬對《中國産經新聞》記者表示，對于金融機構來說，大資料的重要性不言而喻。能否很好地運用企業和客戶資料，對金融機構挖掘優質借款人，以及識别風險都起着重要作用。 　　大資料轉化 　　在《大資料時代》一書中提到，未來，資料将會像土地、石油和資本一樣，成為經濟運作中的根本性資源。資料科學家被認為是下一個十年最熱門的職業。 　　事實上，當你仍然在把微網誌等社交平台當作抒情或者發表議論的工具時，華爾街的斂财高手們卻正在挖掘這些網際網路的“資料财富”，先人一步用其預判市場走勢，以此取得了不俗的收益。數以PB計的資料因得到了有效轉化與利用，重新煥發了其價值。 　　擁有龐大資料生态的阿裡巴巴，已經攢下了超過100PB已處理過的資料，等于104857600GB，相當于4萬個西雅圖中央圖書館，580億本藏書。對于阿裡金融來說，資料庫就是其核心資産。 　　基于采集到的海量企業資料，阿裡前期會搜集包括商家平台認證和注冊資訊、曆史交易記錄、信用記錄等結構化資料，以及使用者評論等非結構化資料，同時還引入外部搜集的用電量、銀行信貸等資料，做出放貸與否、放貸額度的精準決策。 　　對于淘寶賣家，阿裡會綜合其每月的交易額、發貨位址、手機号段、家庭住址、性别等資料，以作為信用評價的次元之一。通過對賣家進行定量分析，借助“淘資料”，“資料魔方”，“聚石塔”等資料産品，阿裡巴巴精準轉化與利用了平台上的海量資料。 　　高照認為，企業對于大資料的利用，本質上都是通過資料幫助品牌建立起對消費者的精準洞察。企業可以通過原有資料獲得更多新資料，以此提升産品性能，實作産品更新換代。 　　與此同時，大資料的轉化過程也是大資料生态的建構過程。這個生态包括資料生産者、資料記錄者、資料處理分析者、甚至資料使用者。 　　“大資料生态的上下遊是千億量級的産業鍊。”高照說道。遍布于城市各個角落的智慧照明系統，可以成為城市大資料的一個采集器，就如同智能手環可以給使用者提供确實性的健康資料。 　　海量資料在創造網際網路生态的同時，也令網際網路與金融的邊界越來越模糊，由資料挖掘産生的金融創新，正在深刻改變着傳統金融機構的運作模式。作為資料密集型的行業，金融業應如何通過挖掘和分析資料來進行決策，成為當下一個重要的議題。 　　鄧建鵬表示，銀行掌握的客戶資料比較單一，還有很多資料銀行并沒有掌握，比如使用者每個月的水電瓦斯費，坐火車飛機的行程單，以及上網購物的足迹等。是以，如果銀行能進一步豐富資料範圍，全方位開發客戶資料，對于銀行開發更多的優質借款人，進一步識别風險都有好處。 　　事實上，面對大資料時代的到來，銀行也已開始發力。如民生、中信、光大等多家銀行已開展供應鍊金融服務，實作了從“線下手工處理”到“線上多系統內建”的轉變。具體的做法是，線上整合與銜接各方流程，建立商務、資金服務與物流服務銜接的工作通道，讓融資線上可得；同時整合與共享銀行、核心企業與上下遊企業，以及物流夥伴之間割裂的分散資訊，讓供應鍊管理與服務清晰可見。 　　與此同時，銀行也開始涉足網際網路平台，如建設銀行的善融商務，工商銀行的電商平台，都意在大資料。 　　和網際網路企業一樣，傳統金融機構最後也會形成獨特的大資料生态。鄧建鵬表示，傳統金融機構本身擁有資料，如果完全依靠自身的系統去挖掘與轉化資料，成本非常高。是以，和網際網路巨頭合作是很好的方式。銀行可以利用網際網路企業的資料，開展各項服務，最終達成共赢的生态圈。 　　“重視”大資料 　　資料采集得越多，變量越多，由此帶來的資料“噪音”也越多。在大資料的海洋中，有相當一部分是無用的資料。有些資料對企業暫時沒有用，有些則永遠沒用。大資料本身良莠不齊，如何才能更好地判别資料價值？ 　　eBay大中華區CEO林奕彰認為，那些現在看起來無效的資料，明後年可能就會随着科技進步被消化，目前隻能先把這些資料儲存起來。 　　大資料廠商Teradata天睿公司CTO寶立明表示，不能一昧否定看似無用的資料，它們同樣蘊含着價值，它們确切的說法應該是低價值密度資料。企業隻是尚未找到其價值展現手段，是以可以用低成本的存儲伺服器加以保留。例如，當人們通過搜尋引擎檢索時，會出現一些習慣性的拼寫錯誤。這些錯誤資料雖然表面上沒有意義，但通過收集這些資料卻可以發現大量的使用者習慣和規律。 　　“并沒有一個通用的大資料法則。每個企業都需要根據自身情況去制定自己的菜單，進而幫助自己更好地消化這些資料。”高照說道。 　　高照表示，每個企業需要的資料都不一樣。比如，車企需要的資料體量比較小，但單個資料的價值很高，并且這些資料在一段時間内還會進一步發揮價值。相比之下，快銷品的使用者傾向于持續購買，是以快銷行業的大資料系統都在百萬千萬級别。是以，行業不同，對資料挖掘的周期、次元也不同。 　　有專家指出，雖然資料是真實的，但是它會有偏向性，不同的分析方式，會有不同的解讀，是以它可能并不完全客觀。要審慎地用正确的方法處理資料，才能獲得正确的資訊。 　　如果說無用資料會帶來資料噪音，那麼安全問題就是懸在大資料頭上的“達摩克利斯之劍”。 　　基于大資料可以對人們的狀态和行為進行預測，未被妥善處理的大資料會對使用者隐私造成極大侵害。社交網絡研究表明，通過群組特性可以發現使用者屬性。例如通過分析使用者的Twitter資訊，可以發現使用者的消費習慣以及喜好的球隊等。 　　有專家表示，應該對使用者隐私提供一定的保護，例如通過資料加密，隻讓需要知道資料的人了解、接觸或者通路到這些資料。 　　隐私侵入問題不僅存在于個人使用者，也存在于企業。從心髒出血漏洞、攜程拖庫等事件可以看出，黑客利用大資料分析向企業發起的攻擊更為精準。對此高照表示，在大資料層面，企業最重要的是建立自有資料平台。在該平台，隻有内部人在一定權限許可下才可以通路和使用。 　　有專家表示，可靠的資料存儲、安全的挖掘分析、嚴格的營運監管是大資料時代企業安全的剛需，安全産業鍊協同成為必然趨勢。資訊安全需要在政府主管部門的統一協調管控之下，由産業鍊各個環節的企業開放安全資料和技術能力。 　　“大資料安全是一個永恒的話題，重要的是通過技術手段，降低安全風險。”鄧建鵬說道。 　　現在，大資料帶來的資訊風暴正在變革我們的生活、工作和思維，開啟了一次重大的時代轉型。被譽為“大資料商業應用第一人”的維克托·邁爾·舍恩伯格指出，大資料時代最大的轉變就是放棄對因果關系的渴求，而取而代之關注相關關系。 　　的确，大資料已為我們的生活創造出了前所未有的可量化的次元，大資料已經成為了新發明和新服務的源泉，而更多的改變正蓄勢待發。

轉載于:https://my.oschina.net/u/1160813/blog/314709