Hadoop-HDFS文件块大小的设置

文件分块

HDFS中文件在物理上分块存储

Hadoop2.x版本中默认文件块为： 128M

通过hdfs参数： dfs.blocksize 设置

文件块大小设置

（1）寻址时间：10ms

（2）传输时间：寻址时间为传输时间1%为最佳状态

因此： 传输时间 = 10ms / 0.01 = 1s

（3）目前磁盘普遍传输速率： 100Mb/s （适合文件块：128M）

（4）固态硬盘（适合文件块：256M 甚至 512M）

固态硬盘不同品牌型号之间，平均大约在150~300M每秒。

最高可达500MB/s

结论：HDFS块大小设置主要取决于磁盘传输速率

太大太小的问题

（1）HDFS块设置太小，会增加寻址时间，程序一直在找块的位置。

（2）HDFS块设置太大，磁盘传输时间明细大于寻址时间，处理数据非常慢。