從事“大資料”工作的三大方向 十大職位

轉載：http://tieba.baidu.com/p/2857041806

随着大資料的趨勢引起的越來越多的重視，各大企業對與大資料相關高端人才的需求也越來越緊迫。這一趨勢，也給想要從事大資料方面工作的人員提供了難得的職業發展機遇。

目前，大資料方面的從業人員主要有三大就業方向：大資料系統研發類人才、大資料應用開發類人才和大資料分析類人才。在此三大方向中，各自的基礎崗位一般為大資料系統研發工程師、大資料應用開發工程師和資料分析師。

　從企業方面來說，大資料人才大緻可以分為産品和市場分析、安全和風險分析以及商業智能三大領域。産品分析是指通過算法來測試新産品的有效性，是一個相對較新的領域。在安全和風險分析方面，資料科學家們知道需要收集哪些資料、如何進行快速分析，并最終通過分析資訊來有效遏制網絡入侵或抓住網絡罪犯。

對于想從事大資料工作的求職者來說，如何根據自身條件進行職位選擇？下面介紹十種與“大資料”相關的熱門職位：

一、ETL研發

随着資料種類的不斷增加，企業對資料整合專業人才的需求越來越旺盛。ETL開發者與不同的資料來源群組織打交道，從不同的源頭抽取資料，轉換并導入資料倉庫以滿足企業的需要。

ETL研發，主要負責将分散的、異構資料源中的資料如關系資料、平面資料檔案等抽取到臨時中間層後進行清洗、轉換、內建，最後加載到資料倉庫或資料集市中，成為聯機分析處理、資料挖掘的基礎。

目前，ETL行業相對成熟，相關崗位的工作生命周期比較長，通常由内部員工和外包合同商之間通力完成。ETL人才在大資料時代炙手可熱的原因之一是：在企業大資料應用的早期階段，Hadoop隻是窮人的ETL。

二、Hadoop開發

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量資料的存儲，MapReduce提供了對資料的計算。随着資料集規模不斷增大，而傳統BI的資料處理成本過高，企業對Hadoop及相關的廉價資料處理技術如Hive、HBase、MapReduce、Pig等的需求将持續增長。如今具備Hadoop架構經驗的技術人員是最搶手的大資料人才。

三、可視化工具開發

海量資料的分析是個大挑戰，而新型資料可視化工具如Spotifre，Qlikview和Tableau可以直覺高效地展示資料。

可視化開發就是在可視開發工具提供的圖形使用者界面上，通過操作界面元素，由可視開發工具自動生成應用軟體。還可輕松跨越多個資源和層次連接配接您的所有資料，經過時間考驗，完全可擴充的，功能豐富全面的可視化元件庫為開發人員提供了功能完整并且簡單易用的元件集合，以用來建構極其豐富的使用者界面。

過去，資料可視化屬于商業智能開發者類别，但是随着Hadoop的崛起，資料可視化已經成了一項獨立的專業技能和崗位。

四、資訊架構開發

大資料重新激發了主資料管理的熱潮。充分開發利用企業資料并支援決策需要非常專業的技能。資訊架構師必須了解如何定義和存檔關鍵元素，確定以最有效的方式進行資料管理和利用。資訊架構師的關鍵技能包括主資料管理、業務知識和資料模組化等。

五、資料倉庫研究

資料倉庫是為企業所有級别的決策制定過程提供支援的所有類型資料的戰略集合。它是單個資料存儲，出于分析性報告和決策支援的目的而建立。為企業提供需要業務智能來指導業務流程改進和監視時間、成本、品質和控制。

資料倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大資料一體機。能夠在這些一體機上完成資料內建、管理和性能優化等工作。

六、OLAP開發

随着資料庫技術的發展和應用，資料庫存儲的資料量從20世紀80年代的兆（M）位元組及千兆（G）位元組過渡到現在的兆兆（T）位元組和千兆兆（P）位元組，同時，使用者的查詢需求也越來越複雜，涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄，而且要對多張表中千萬條記錄的資料進行資料分析和資訊綜合。聯機分析處理（OLAP）系統就負責解決此類海量資料處理的問題。

OLAP線上聯機分析開發者，負責将資料從關系型或非關系型資料源中抽取出來建立模型，然後建立資料通路的使用者界面，提供高性能的預定義查詢功能。

七、資料科學研究

這一職位過去也被稱為資料架構研究，資料科學家是一個全新的工種，能夠将企業的資料和技術轉化為企業的商業價值。随着資料學的進展，越來越多的實際工作将會直接針對資料進行，這将使人類認識資料，進而認識自然和行為。是以，資料科學家首先應當具備優秀的溝通技能，能夠同時将資料分析結果解釋給IT部門和業務部門上司。

總的來說，資料科學家是分析師、藝術家的合體，需要具備多種交叉科學和商業技能。

八、資料預測分析

　營銷部門經常使用預測分析預測使用者行為或鎖定目标使用者。預測分析開發者有些場景看上有有些類似資料科學家，即在企業曆史資料的基礎上通過假設來測試門檻值并預測未來的表現。

九、企業資料管理

企業要提高資料品質必須考慮進行資料管理，并需要為此設立資料管家職位，這一職位的人員需要能夠利用各種技術工具彙集企業周圍的大量資料，并将資料清洗和規範化，将資料導入資料倉庫中，成為一個可用的版本。然後，通過報表和分析技術，資料被切片、切塊，并傳遞給成千上萬的人。擔當資料管家的人，需要保證市場資料的完整性，準确性，唯一性，真實性和不備援。

十、資料安全研究

資料安全這一職位，主要負責企業内部大型伺服器、存儲、資料安全管理工作，并對網絡、資訊安全項目進行規劃、設計和實施。資料安全研究員還需要具有較強的管理經驗，具備運維管理方面的知識和能力，對企業傳統業務有較深刻的了解，才能確定企業資料安全做到一絲不漏。