HBase/Hadoop 安装之前需要注意的配置问题

资源限制命令 : ulimit 和 noproc

         HBase 和其他的数据库软件一样会同时打开很多个文件. Linux默认的ulimit值是1024, 这对HBase来说太小了. 当使用诸如bulkload这种工具批量导入数据的时候会得到这样的异常信息: java.io.IOException:Too many open files.

这里我们需要改变这个值, 注意, 这是对操作系统的设置, 而不是通过HBase配置文件完成的. 我们可以大致估算出ulimit值需要配置为多大, 例如: 每个列族至少有一个存储文件(HFile), 每个被加载的Region可能管理多达5到6个列族所对应的存储文件, 用于存储文件的个数乘以列族数再乘以每个RegionServer中的Region数量得到RegionServer主机管理的存储文件数量.

关于ulimit有两个地方需要体征, 

1 . 通过/etc/security/limits.conf追加参数进行设置, 一个参数是nofile, 设置如下:

* soft nofile 10240

* hard nofile 10240

    如果没有设置这个参数可能会得到上面说的异常. 这个设置表示限制打开的文件数. 这个配置不能立即生效, 还需要通过ulimit -n 设置, 可以执行下面的命令:

ulimit -n 10240

2. 另外一个参数是noproc, 这个配置是限制用户打开的进程数, 设置如下:

* soft noproc 10240

* hard noproc 10240

    该设置可以即时生效, 可以通过ulimit -c查看, 如果不设置noproc,可能得到如下异常:

java.lang.OutputMemoryError: unable to create new native thread

    实际上这两个参数对HDFS和MapReduce也至关重要, 应该在启动Hadoop之前就设置好. 另外注意这两个参数是针对操作系统用户的, * 代表对所有用户生效.

dfs.datanode.max.xcievers

        Hadoop的Datanode有一个用于设置同时处理文件的上限个数的参数, 这个参数叫xcievers, 在启动之前, 先确认有没有配置Hadoop的conf目录下的hdfs-site.xml中的xcievers参数, 默认值是256, 这对于一个任务很多的集群来说太小了, 至少是4096, 一个大型集群通常比这个值还大的多.

<property>
	<name>dfs.datanode.max.xcievers</name>
	<value>4096</value>
</property>
           

    对于HDFS, 如果修改此项配置, 要记得重启. 如果没有这一项配置, 可能会遇到奇怪的失败. 虽然会在Datanode的日志中看到excievers exceeded, 但是运行起来汇报missing blocks错误.

java.io.IOException: xcieverCount 258 exceeds the limit of concurrent xcievers 256