《Hadoop MapReduce实战手册》一2.1 简介

本节书摘来异步社区《hadoop mapreduce实战手册》一书中的第2章，第2.1节，作者： 【美】srinath perera , thilina gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

hadoop mapreduce实战手册

hadoop分布式文件系统（hadoop distributed file system，hdfs）被设计成适合运行在低廉的通用硬件上的面向块结构的分布式文件系统。hdfs支持海量数据存储，并提供高吞吐量的数据访问。hdfs通过跨多个节点的冗余方式存储文件数据，以确保容错性和高聚合带宽。

hdfs是hadoop mapreduce计算默认使用的分布式文件系统。hadoop在处理存储在hdfs上的数据时支持数据本地化感知。然而，hdfs也可以用作一个通用的分布式文件系统。hdfs架构主要由一个用于处理文件系统元数据的中央namenode以及很多个用于存储真实数据块的datanode组成。hdfs数据块通常是粗粒度的，适合存储大数据产品。

1.5节和第1章中的其他各节说明了如何部署hdfs，并对hdfs的基本操作给出了一个概述。本章将学习一组精心挑选的高级hdfs操作，在使用hadoop mapreduce进行大规模数据处理时，这些操作将十分有用，同时，也适用于使用hdfs作为一个独立的分布式文件系统用于非mapreduce场景。