好程式員大資料入門學習之Hadoop技術優缺點

　　好程式員大資料入門學習之Hadoop技術優缺點

　　(1)Hadoop具有按位存儲和處理資料能力的高可靠性。

　　(2)Hadoop通過可用的計算機叢集配置設定資料，完成存儲和計算任務，這些叢集可以友善地擴充到數以千計的節點中，具有高擴充性。

　　(3)Hadoop能夠在節點之間進行動态地移動資料，并保證各個節點的動态平衡，處理速度非常快，具有高效性。

　　(4)Hadoop能夠自動儲存資料的多個副本，并且能夠自動将失敗的任務重新配置設定，具有高容錯性。

　　Hadoop的缺點

　　(1)Hadoop不适用于低延遲資料通路。

　　(2)Hadoop不能高效存儲大量小檔案。

　　(3)Hadoop不支援多使用者寫入并任意修改檔案。

　　Hadoop的核心元件

　　Hadoop自誕生以來，主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。

　　HDFS和MapReduce是Hadoop1的核心元件，Hadoop生态圈裡的很多元件都是基于HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2，Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1，Hadoop2的三大核心元件分别是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2，本書使用的是Hadoop2.7.3這一版本。

　　Hadoop2的一個公共子產品和三大核心元件組成了四個子產品，簡介如下。

　　(1)HadoopCommon：為其他Hadoop子產品提供基礎設施。

　　(2)HDFS：具有高可靠性、高吞吐量的分布式檔案系統。

　　(3)MapReduce：基于Yarn系統，分布式離線并行計算架構。

　　(4)Yarn：負責作業排程與叢集資源管理的架構。

　　好程式員大資料教育訓練的終極目标是将你培養成一名“複合型”研發人才，讓你自己在掌握相關大資料技術的同時，也能夠赢得一份高薪職位!好程式員大資料開發采用“T”字形的思維，以大資料的深度為主，以機器學習、雲計算等作為寬度，相輔相成。此外好程式員大資料課程定期組織與一線名企的工程師進行面對面的就企業當下的項目讨論與研發，進而驗證所學技術的正确方向。