天天看點

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

首先,工作本身沒有好壞之分,隻有門檻高低之别。大資料開發、大資料分析、大資料運維都圍繞着大資料展開。如果我們把大資料去掉,就隻剩下,開發,分析,運維。當然還有其它的工作,例如營運,産品,講師,測試等。 加上了大資料,隻是我們的工作内容,或者說是工作方式發生了變化。

大資料是傳統行業,傳統技術逐漸發展的産物。但是并沒有打破我們在傳統行業的工作模式,和我們的一些基礎知識的儲備。革新的隻有處理技術,工作手段。在這裡我們更詳細的說說大資料開發、大資料分析、大資料運維 的工作内容,已經門檻,不做好壞評價。

非大資料 開發,分析,運維幹什麼呢?

開發日常工作是幹什麼了 ? 圍繞着産品經理,進行産品開發,更新,疊代。加班熬夜,趕進度。每日的工作就是編碼,和産品溝通或者撕X,和測試溝通或者斯X,最終確定産品上線,保證産品正常使用,以及後續疊代更新。

分析日常工作是什麼了?資料整理,制作報表,最後就是報告,會議,闡述結論,最後就是說服對方接受觀點,的确很多時候,分析出來的結論,對方無法接受。

運維日常工作是什麼了?最核心的就是監控,機器是否正常運轉,資源是否夠用,産品應用是否都正常,開發相關的工具,保證異常能夠及時發現。

在介紹大資料相關的工作前我們先了解下大資料的處理流程

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

處理流程

我們在看看hadoop的大資料生态圈。當然大資料生态圈不是在隻有hadoop。

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

生态圈

大資料開發的主要工作

開發資料收集工具,資料清洗和整理,開發資料應用;當然這些不是一個人去完成,都會落在各個團隊中去完成。

完整這些工作需要哪些技能?從這些技能我們也能看出來大資料開發的主要工作,就是這些工具打交道。一門開發語言(java/python/c#/scala 等),大資料下的一些架構:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,隻會其中的2到三項基本找份工作沒有問題,如何進階在這不詳細讨論。我們來看圖吧。

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

必備技能

大資料分析的主要工作

有大表哥,專門做各種報表。取數機器人,提取各種資料。當然也有做資料分類,特征提取等資料挖掘,機器學習等高等玩家。

這裡一并概括了,大資料分析的主要工作是:基于現有的資料進行資料分析得出一個結論,最後進行商業決策。當然現實不是這樣的。大多數人成了大表哥,取數機器人,高端玩家也不列外,挖出來的東西,在沒有找到落地場景前,都是一坨一坨的。這裡都隻是調侃。

大資料分析需要哪些技能呢?我們不管具體的工作内容,看看我們每天要面對那些工具,工具是我們每天要接觸的東西。 Excel,SPSS,SQL,資料庫,R,Python 等。當然我們不用都會。

我們還是看圖吧,看看資料分析師的能力體系:

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

分析師能力體系

在看看每個階段需要的技能,分析師和開發的差別在于,核心在于處理資料和清洗資料,達到自己可用的狀态。開發是收集資料和整理資料,讓資料變得統一。

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

階段能力對應圖

大資料運維的工作

對大資料叢集進行監控和維護更新,保障叢集正常運作,進而保證 資料收集服務能正常運作,保證叢集資源夠用,監控叢集資源消耗情況。

他們是職業背鍋俠,也是一群默默無聞的夥伴。無論開發,還是分析,還是其它的崗位,都有在人前顯擺的時候,我們的運維永遠隻能在人後做好保障。

我們來看看運維的能力體系吧:

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

運維能力體系

以上是我對這個問題的了解,有些調侃,但都想表達和傳遞一種正能量,每個行業,每個崗位都有其特定的屬性和特點,既然選擇了,就隻顧風雨兼程,管它花開花落,最終中能到達理想的彼岸。

大資料開發、大資料分析、大資料運維主要工作各是什麼?哪個好?謝謝?

繼續閱讀