前言
對于學習的過程來說,報錯是一個不容跳過的步驟,把遇到的問題記錄下來,以後遇到了也可以回來檢視,本文章長期更新。
Q:Call From node1/192.168.200.11 to node1:9000 failed on connection exception?
今天啟動了Hadoop叢集之後,發現輸入hdfs dfs -ls / 指令,居然出現以上報錯。
這個時候咋辦呢?按照描述說是900端口拒絕連結了。于是我把整個叢集給停掉了,然後單獨啟動了hdfs,然後jps看了一下,發現namenode沒有啟動,于是我找到了namenode的日志,其中有這麼一句報錯
java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but got txid 10.
at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:215)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:143)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:843)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:698)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:294)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:975)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:585)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:645)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:812)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:796)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1493)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
2019-08-23 17:25:24,577 INFO org.mortbay.log: Stopped [email protected]:50070
2019-08-23 17:25:24,687 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2019-08-23 17:25:24,688 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2019-08-23 17:25:24,688 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2019-08-23 17:25:24,689 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
大緻意思就是edit-log檔案損壞了,于是,就修複了一下吧!
執行這個指令:
hadoop namenode -recover
然後一路選擇Y,等結束之後,我再啟動hdfs,發現namenode可以啟動了,也不報錯了。
2.Q:java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
今天在執行mapreduce程式從habse到hbase的時候,出現如下報錯:
[[email protected] bigdata]$ hadoop jar hbase-1.0-SNAPSHOT.jar com.cn.hbase.integration.HBaseMR t1 t2
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
at com.cn.hbase.integration.HBaseMR.main(HBaseMR.java:69)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 7 more
經過網上查詢,發現從這裡找到答案:
https://hbase.apache.org/book.html#mapreduce
第48項:
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5SYzYmNjJDOmNjN0YTOhRmMzAjMlVmNmVjMyQTY0QGMk9CX0JXZ252bj91Ztl2Lc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
然後我用下面的指令執行了一下就可以了:
HADOOP_CLASSPATH=`hbase classpath` hadoop jar hbase-1.0-SNAPSHOT.jar com.cn.hbase.integration.HBaseMR t1 t2
後續操作:
經過了上面之後發現是可以了,但是每次都如此,太煩了,究根問底是依賴沒有被打入jar包,是以把下面的依賴加入進去就行了。
<build>