天天看点

hive distict 和 count 操作reducer只有一个的问题

select count(distinct *) from table;

<b>这样写会生成一个job 只有一个reducer执行,可以改为如下:</b>

<b>select count(*) from (</b>

<b>select distinct * from table) t;</b>

<b>这样生成两个job,可有多个reducer执行,效率提升</b>

本文转自 落花非有意  51CTO博客,原文链接:http://blog.51cto.com/1992zhong/1749452,如需转载请自行联系原作者