【hadoop】 running beyond virtual memory错误原因及解决办法Container is running beyond memory limits

本文转载自 http://www.cnblogs.com/scw2901/p/4331682.html

在hbase shell 里 运行 count 'tablename' 统计表格行数太慢了

改用 $HBASE_HOME/bin/hbase   org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename'

就报Container [pid=13875,containerID=container_1480991516670_0003_01_000003] is running beyond virtual memory limits. Current usage: 165.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

注意运行这条命令需要开启yarn

问题描述：

   在hadoop中运行应用，出现了<code>running beyond virtual memory错误。提示如下：</code>

&lt;property&gt;

　　&lt;name&gt;mapreduce.map.memory.mb&lt;/name&gt;

　　&lt;value&gt;1536&lt;/value&gt;

&lt;/property&gt;

　　&lt;name&gt;mapreduce.map.java.opts&lt;/name&gt;

　　&lt;value&gt;-Xmx1024M&lt;/value&gt;

　　&lt;name&gt;mapreduce.reduce.memory.mb&lt;/name&gt;

　　&lt;value&gt;3072&lt;/value&gt;

　　&lt;name&gt;mapreduce.reduce.java.opts&lt;/name&gt;

　　&lt;value&gt;-Xmx2560M&lt;/value&gt;