學hadoop需要什麼基礎

學hadoop需要什麼基礎

最近一段時間一直在接觸關于hadoop方面的内容，從剛接觸時的一片空白，到現在也能夠說清楚一些問題。這中間到底經曆過什麼隻怕也就是隻有經過的人才會體會到吧。前幾天看到有個人問“學hadoop需要什麼基礎”，這個問題好像至今還沒好好細想過，可能是因為身邊有大神在帶着我學習hadoop的緣故，也就沒想過這樣的一個簡單的問題。

我們目前在用的hadoop版本并不是原生态的版本，我們在用的是國内的一款商業發行版，叫DKhadoop。大快搜尋推出的一款原生态開發的Hadoop內建生态環境。從使用的效果上看DKhadoop與開源環境是可以做到完全相容的。準備過段時間抽個空，試着寫一下以DKhadoop為切入點關于學習hadoop需要掌握什麼基礎。

【DKhadoop基礎技術架構圖】

關于學hadoop需要什麼基礎這樣的問題，看到一篇關于介紹學習原生hadoop的分享，個人覺得還是很不錯的一篇文章。這裡也分享給大家，供參考之用。

關于學習hadoop需要具備什麼基礎知識，首先應該從整體了解hadoop，包括hadoop是什麼，能夠幫助我們解決什麼問題，以及hadoop的使用場景等。在有了整體上的了解後，就可以開始系統的學習hadoop。當然，若是能夠結合一些實踐性的東西學習會更有助于了解hadoop。

學習hadoop需要什麼基礎：

Linux：

①　需要能夠熟練操作linux常用指令以及網絡配置；

②　熟悉使用者以及權限管理操作；

③　需要熟悉軟體包以及系統指令管理；

④　還需要學習一下shell程式設計。

Java：

⑤　需要具備一定的javase基礎知識；

⑥　如果懂java web及各種架構知識那就更好了。

虛拟機：

⑦　需要掌握虛拟機；

⑧　需要安裝linux作業系統

⑨　需要配置虛拟機網絡

除了上述這幾個方面，我們還需要了解hadoop的單機模式、僞分布模式和分布式模式的搭建方式。了解MapReduce分布式計算架構、Yarn叢集資源管理和排程平台、hdfs分布式檔案系統、hive資料倉庫、HBase實時分布式資料庫、Flume日志收集工具、sqoop資料庫ETL工具、zookeeper分布式協作服務、Mahout資料挖掘庫等。