Hadoop項目簡介

Apache Hadoop項目簡介 

Core---- 一系列分布式檔案系統和通用I/O的元件和接口（序列化、Java RPC和持久化資料結構）

Avro---- 一種提供高效、跨語言PRC的資料序列化系統，持久化資料存儲。

MapReduce----分布式資料處理模式和執行環境，運作于大型商用機叢集；

HDFS----分布式檔案系統，運作于大型商用機叢集；

ZooKeeper----一個分布式的、高可用性的協調服務；

Pig---- 一種資料流語言和運作環境，用以檢索非常大的資料集，運作在MapReduce和HDFS叢集上；

Chukwa------ 分布式資料收集和分析系統；

Hive--- 分布式資料倉庫，Hive管理HDFS中存儲的資料，并提供基于SQL的查詢語言用以查詢資料；

Hbase---- -一個分布式的、列存儲資料庫。HBase使用HDFS作為底層存儲，同時支援MapReduce的批量式計算和點查詢。

其中MapReduce和HDFS是Hadoop的核心