天天看点

重新拿起hadoop

为了将多数据源整到hadoop上,将每个表导到hive上,再做大表join,变成一个越级大表,作为某一个搜索业务的数据源,然后再将建索引程序整成MR程序!

为此重新再学起hadoop。先分享一下几个好东西!

hadoop原理介绍

http://tech.uc.cn/wp-content/uploads/2012/07/Hadoop%E5%8E%9F%E7%90%86%E4%BB%8B%E7%BB%8D.pdf

 前上司写的一键安装hadoop,hive,hbase

https://github.com/hadoop-deployer/hadoop-deployer

继续阅读