zdnet至頂網cio與應用頻道 10月13日 北京消息：主題為“科技整合·智彙航行”的2014年航空使用者大會在青島召開，文思海輝首席架構師李飛介紹了目前大資料的趨勢以及航空領域的大資料應用場景和實踐。
航空公司對大資料的應用領域包括：客戶全生命周期與旅客管理，對客戶行為分析、網購行為分析，用社交網絡進行營銷推廣等。李飛表示，文思海輝在航空大資料應用上可以提供一系列的資料處理工具、資料采集工具、資料管理管理，甚至去跟客戶量身定制一些具體的資料處理方法，進而實作智慧資料的想法。
文思海輝首席架構師李飛
以下為演講實錄：
大資料真正火起來是近兩年，随着社交網絡、移動應用的發展，包括三個v：資料量、資料速度、資料種類越來越多，是以才有了大資料新的一些技術、應用，湧現出來。實際上，最早大資料2001年就被提出來了，但那時候資料還不夠大，是以沒有引起大家的注意。
乘客對航空公司而言，是可以自動上下機的貨物。雖然，航空公司在乘客購物、消費、享受服務的過程中，有一些資訊的追蹤等等這些東西，但是并沒有把每位乘客的個性化的特點彰顯出來、利用出來，提供特定的服務。就像貨物一樣，現在貨物都有追蹤的功能了。
是以我們想到，很多航空公司，尤其是我們看到剛才吳錦有分享的，國外的像美聯航、西南、英航，等等這些公司，都在從自動上下的貨物，從人身上考慮，讓這些人多購買航空公司體的服務。是以，這讓我們看到了大資料在航空業應用裡面一個很重要的方向。
我今天給大家介紹一下，包括大資料現在發展的一些資料，我們看到現在在航空業大資料的應用，還有大資料的技術，如果要做大資料的話該怎麼入手，後面該怎麼規劃我們的路線，另外文思海輝這幾年在大資料上也投入蠻多的，包括美國、中國。文思海輝在大資料這個領域，尤其結合傳統各個行業的解決方案，也在不斷尋求一些突破。
左邊我們看到了一些傳統大家都很熟悉的bi，右邊是大資料現在對傳統bi帶來了一些變化。比如，傳統叫統計分析，現在我們更強調預測分析、原因挖掘。原來我們有很多很多統計學的算法，現在有繼續學習的很多算法，包括百度，在google大腦團隊裡找專家來做百度的大腦，都是要做預測分析。包括從有目的的去做資料挖掘，資料分析一步步的實施，到小批量、循環實驗，發現大資料的各種可能性。
gartner去年的報告還在講大資料到底是什麼，大資料應該怎麼用。今年，提出跟我們提出的不謀而合，應該利用企業混合的資料架構，一起為企業提供服務。
無論是傳統的資料還是新的資料，如何從大資料中分析出有用的資訊，然後形成決策建議支援人類的活動，這樣一個循環是非常重要的。隻是說我們現在有很多所謂大資料的手段，來搞全量資料。然後，我們通過繼續學習，而不是通過統計分析，然後我們搞很多很多算法，幫我們更有品質的處理一些資料。其實，這是我們看到在大資料方面的一些趨勢。
這是我們文思海輝一直努力做的，如何讓資料能夠在智慧航空、智慧企業裡面發揮作用，是以搞了智慧資料。對我們航空公司而言很重要的一點，我們要應用大資料的手段，以智能分析為核心，去收集所有的客戶觸點上的資訊，形成客戶體驗的決策支援。反過來，又把這些智能應用到所有的客戶觸點。
這點在零售業、銀行業，都在做這種概念，而且有些企業已經開始真正的動手去做全觸點的服務。有了這些，我們就可以打造智能工廠化全局的bi商務職能，來支援我們個人的bi、團隊的bi、公司整體的bi。
是以，文思海輝現在談到商務智能和大資料的時候，以這樣的首要目标切入，然後提供一系列的資料處理工具、資料采集工具、資料管理管理，甚至去跟客戶量身定制一些具體的資料處理方法，進而實作智慧資料的想法。
舉個例子來說，這是我之前給銀行做的一個架構，很粗糙。如何把大資料放在傳統的商務智能、edw、ods，以及系統交換平台裡面去？大資料平台，我們可以作為edw的輔助作用也好，獨立發揮作用也好，處理原來資料倉庫不太容易處理的資訊，然後把它提供給資料分析工具，提供給edw處理過精華的資訊，再回到edw裡面去。成熟的分析工具也好、開源的分析工具也好，我們都在想怎麼基于大資料做更好的分析挖掘處理，服務于前面的資料應用。
了解了這些基礎，我們來看一看航空公司對大資料的應用。剛才吳錦有已經介紹到了幾個，大家不謀而合我也舉了這樣一些例子，包括美聯航、西南、英航，都在以客戶體驗入手，更好的了解客戶，提供定制化的服務和定制化頁面，甚至定制化的價格。還有一些小公司，像阿聯酋、阿拉伯的，連他們都開始做這些事情了。還有像比較有意思的阿拉斯加航空，以前都沒聽說過，他在跟ge搞一個合作，利用ge這邊的機器資料，尋找燃油成本最低、效率最高的方案，可以ge引擎的資料做一些分析。國内也有一些公司在大資料方面的應用，大家或多或少也都了解一些。
航空公司對大資料的應用領域包括：客戶全生命周期與旅客管理。客戶行為分析、網購行為分析。然後挖掘你怎麼的分析。用社交網絡進行營銷推廣。基于這些資訊，我們可以建設一個真正的客戶360度視圖，也可以叫3d客戶視圖。基于這個視圖，我們再去做全管道營銷，把各種各樣的管道接觸方式統一起來管理。最後還有一點，也是我們跟ge和其它制造業有些合作的，利用機器資料做預防性維修的場景，其實航空公司也可以用到。
這個是客戶旅程管理，現在很多企業都在搞跨界合作為乘客提供服務，你可以和目的地提供合作，也可以和某個電子商務公司合作。這些，都屬于整個旅程管理的範疇，對客戶來講可以利用它進行比價、查詢，這是售前的工作，還有售中買票的工作，之後在機場乘機，同時還有一些目的地的服務。
我們說乘客的消費過程，中間有很多管道，大家可以利用這些管道做營銷、做服務，其中非常流行的是社交媒體。之前有一個統計，美國有一個消費者滿意度調查，每年花很多錢做客戶對哪個品牌是不是滿意。後來有人做了一個實驗，在推特上找了一些相關的旅客，然後對這些資料進行情感分析。拿出來的結果和他花大價錢做的消費者滿意度指數調查，不相上下。這也說明，現在在社交媒體上，大家發出的聲音，其實和我比較專業的調查結果，可能是差不多的，而且可能更真誠一些。是以，社交媒體是個很好的運用手段，也是我們将來做大資料客戶營銷很重要的一個資料來源，也是一個營銷的管道。電子商務、呼叫中心、網站隻是我們售前和賣票的過程，然後機場服務、目的地資訊。
使用者可能會選擇這樣一條路線走完他的旅程，但如何讓使用者在這個過程中全面感受到我們服務的優異，願意下次再乘坐我們飛機的客戶？也許我有常旅客卡，我就盡可能訂這個航空公司，因為我覺得他提供的服務還可以。但對一些非常旅客，或者非我公司的常旅客，如何把他們變成我們的常旅客？這我們就需要想辦法提供讓使用者認可的服務，不僅成為我們的常旅客，甚至讓他們成為我們的粉絲，幫我們推廣。
後面還包括網購行為的分析，很簡單，我們可以用探針，可以用旁路一些别的方式，來把客戶從哪來到哪去，全部都內建進去分析。我們也會有一些小的工具和産品，幫助大家做到這一點。粉絲的挖掘，微網誌、微信使用者應用的越來越多，如何利用這些社交媒體幫我們創造價值？還有一些網絡論壇，我們如何在其中找到我們的粉絲？都可以做很多管道上的資料挖掘和分析。
具體來講，這就是開源資料收集的過程，哪些是我們的常旅客、哪些是我們的潛在旅客。通過api也好、爬蟲也好，把這些資料收集到我的大資料平台，再結合我内部的消費資料來看，到底什麼樣的人選擇我們的多，投訴的多。再結合這些不同的資訊給客戶打要錢，對他們分類，識别他們的抱怨也好、建議也好，找到相似性的客戶，還有客戶關系的圖譜，最終找到可以影響一片人的分析或者意見領袖，把潛在使用者更新成為我們真正的粉絲。這當中就涉及到大資料分析的過程和一些技術。
使用者的360度視圖，其實早就有這個概念，就是看你到底多少度嘛，有些人10度、有些人360度，有些人真的是3d，通過這些就真的可以做出正确的預測，根據使用者的這些資訊預測出我的某一個營銷手段、服務手段，是不是能夠吸引他，我該給他推薦什麼。要做到這一點，客戶的資訊我們到底要拿到哪些緯度。像美聯航他們，号稱有150個緯度，像我們做銀行，有1000多個緯度。這些資訊傳統分析，我們把它建成主題模型，基本資訊、管理資訊、地理位置資訊、身份資訊，等等，把這些組織起來放在這裡。另外我們看到的黃色，原來我們考慮客戶資訊的時候對這些是不關心的，慢慢這些資訊将會更影響我們将來對客戶營銷的選擇，像利潤貢獻度、興趣偏好，等等。
基于這些剛才談到更多管道的客戶資訊，我們就可以更好的設計全管道營運，把我們各種管道裡面的資訊來源，整合起來，全面的了解客戶，包括對我們的客戶決策，包括每個客戶不同的認識，然後形成客戶小批量的營銷決策，然後管理我們的外向營銷管道、内向營銷管道，然後做一些搜尋引擎優化這些功能，都可以在這裡架構性的實作。這是其它一些航空公司，也有的是一些旅遊網站。
這裡還有最後一個小的應用場景，我們叫做與忙性維修的場景。這裡的資料機關是t、p、e、z，每年這些航空公司産品的資料，大概有2zb的資料量，這些資料航空公司要求我們儲存下來，儲存下來幹嘛？來做預防性的維修。我們可以用回歸、決策樹，來做出進一步的資料分析，這些技術性的就不展開講了。
應用有了，怎麼做？裡面有太多的技術，沒法展開講，有興趣的可以我們私下交換一些技術上的看法，但這裡是不完全的一個跟大資料裡面hadoop相關的一些公司或者産品。核心來講，其實大家現在談大資料談這麼火，也是因為hadoop比較牛，hadoop比較牛其實是兩點：一個是低成本，一個是批量處理大資料。
大資料如何和資料倉庫結合？當然有很多不同的技術處理方式，包括把大資料裡面經過加工轉換，抽取一些有進一步分析價值結構化的資料，當然edw是一種，還有一種是大資料利用hadoop來做資料挖掘，還有一種是後面的分析應用，再去使用edw和hadoop大資料的時候，我們要實作所謂的透明通路，要打通edw和大資料端口，這在很多成熟的商用大資料産業裡面都有。我不需要特别牛的hadoop的人，也能實作hadoop的一些功能，這就要保證hadoop真正走向普羅大衆所有人都玩得起的時候，這就是很關鍵的。
簡單看一眼，懂技術了，我們該怎麼做？如果做大資料項目，我們不能采用傳統做bi分析的做法來做。因為，bi是你明确知道你想幹什麼，要畫一個儀表盤，要出一個報表，但在大資料裡面，如果知道這些資料就不用大資料做了，用傳統bi就好了。現在，有這麼多元度，有幾百個t的資料，幫我看看這些資料裡能做出什麼有價值的東西來？一開始我隻知道個大概的方向，說我要提升使用者體驗，幫我看看怎麼做，具體能做出什麼來，然後需要用什麼算法來做。
但開始做大資料之前，大家要明确，我做大資料不是為了用hadoop的大資料，我要公司裡面的資料有基礎，很多企業已經開始做所謂的資料文化，有專門的團隊、組織，管理這些資料、應用這些資料。然後，你的目标和方案是什麼？不是說沒有目标，有一個大的方向和目标，然後我再去尋找具體的手段解決問題，選擇一些切實可行的kpi，來衡量我最終算法的效果如何。另外，從小做起，把全管道都整合好，一步步來，先做試點，把我們的技術也好、能力也好，慢慢的搭建起來，然後再進行推廣。
從評估、分析、規劃三個階段，要對我們的業務方案、技術方案和資料，進行評估，其實可以自己簡單來做，也可以做這樣一個咨詢規劃，像我們給一些企業做了這樣的咨詢規劃，幫他看現在的資料狀況怎麼樣，需求在哪裡。然後，設計具體的技術方案、算法，定一些路線圖。這是在實施路徑上來講，怎麼樣從平台建設、團隊建設、資料建設、應用建設幾個角度，一步步的去把我們大資料應用拓展下來。
剛才介紹的這些應用，很多是業界看到的很多思考，文思海輝具備這些技術能力，能夠幫大家把這些應用落實、落地，這是很多客戶比較看中文思海輝能做這些事情的原因。基于大資料的平台優化，以及真正幫客戶搭建一些應用。在大資料的技術領域裡面，資料倉庫、資料內建、資料處理，hadoop的一些相應技術，都需要有相應的技術人員。尤其在分析領域，我們結合各個行業的業務實踐、業務專家，來選擇合适的分析算法，實作我們業務的優化。比如說在這裡面我們給銀行做的360度視圖，呼叫中心的資料分析，這都是結合大資料的具體解決方案。
原文釋出時間為：2014年10月13日
本文來自雲栖社群合作夥伴至頂網，了解相關資訊可以關注至頂網。