天天看点

hadoop常见问题总结1

问题1:http://localhost:50030

http error: 404

/jobtracker.jsp

requesturi=/jobtracker.jsp

powered by jetty://

解决办法:

buid本地库存后,应该把build目录删除,否则启动脚本会把目录重定向到build目录中,导致web管理页面打不开,启动脚本中,如果有build目录,就将路径转到build下.

问题2、http://localhost:50070

unable to connect

如下图所示:

hadoop常见问题总结1

解决办法:首次运行,需要对namenode进行格式化:bin/hadoop namenode -format  

注意:上面的命令应该是cd 到hadoop文件夹下

解决问题以后出现如下页面:

hadoop常见问题总结1

问题3:hadoop在子节点上没有datanode进程 

1.先停止hadoop,bin/stop-all.sh

2.把hadoop/tmp下所有文件删除

3.重新格式化dfs  bin/hadoop namenode -format

4.再重启bin/start-all.sh

5.查看各节点jps,就有datanode和tasktracker了

问题4:

exception in thread "main" org.apache.hadoop.mapreduce.lib.input.invalidinputexception: input path does not exist: hdfs://localhost:9000/user/wu/in

解决方法:

hadoop处理的文件都是在hdfs中,所以必须把要处理的文件复制到hadoop 某个文件夹中。

下面举例,在in中新建文件夹,把提前做好的wordcount文件复制到hdfs中,最后运行程序

问题5:

exception in thread "main" org.apache.hadoop.mapred.filealreadyexistsexception: output directory out already exists

删除output文件夹即可解决