Storm重新開機報java.io.FileNotFoundException錯誤

問題：

storm異常停止後，重新開機storm，nimbus程序幾秒後便不見了。 檢視日志報錯：nimbus [ERROR] Error when processing event

java.io.FileNotFoundException: File ‘/data/storm/nimbus/stormdist/risk_topo-1-1574555563/stormconf.ser’ does not exist

at org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:299) ~[analyzer-storm-dependency.jar:na]

at org.apache.commons.io.FileUtils.readFileToByteArray(FileUtils.java:1763) ~[analyzer-storm-dependency.jar:na]

at backtype.storm.daemon.nimbus r e a d s t o r m c o n f . i n v o k e ( n i m b u s . c l j : 89 )   [ s t o r m − c o r e − 0.9.5. j a r : 0.9.5 ] a t b a c k t y p e . s t o r m . d a e m o n . n i m b u s read_storm_conf.invoke(nimbus.clj:89) ~[storm-core-0.9.5.jar:0.9.5] at backtype.storm.daemon.nimbus reads​tormc​onf.invoke(nimbus.clj:89) [storm−core−0.9.5.jar:0.9.5]atbacktype.storm.daemon.nimbuscompute_executors.invoke(nimbus.clj:419) ~[storm-core-0.9.5.jar:0.9.5]

at backtype.storm.daemon.nimbusKaTeX parse error: Expected group after '_' at position 17: …ompute_topology_̲_GT_executorsiter__3324__3328KaTeX parse error: Expected group after '_' at position 3: fn_̲_3329.invoke(ni…seq.invoke(core.clj:133) ~[clojure-1.5.1.jar:na]

at clojure.core.protocols s e q r e d u c e . i n v o k e ( p r o t o c o l s . c l j : 30 )   [ c l o j u r e − 1.5.1. j a r : n a ] a t c l o j u r e . c o r e . p r o t o c o l s seq_reduce.invoke(protocols.clj:30) ~[clojure-1.5.1.jar:na] at clojure.core.protocols seqr​educe.invoke(protocols.clj:30) [clojure−1.5.1.jar:na]atclojure.core.protocolsfn__6026.invoke(protocols.clj:54) ~[clojure-1.5.1.jar:na]

at clojure.core.protocolsKaTeX parse error: Expected group after '_' at position 3: fn_̲_5979G__5974__5992.invoke(protocols.clj:13) ~[clojure-1.5.1.jar:na]

at clojure.core r e d u c e . i n v o k e ( c o r e . c l j : 6177 )   [ c l o j u r e − 1.5.1. j a r : n a ] a t c l o j u r e . c o r e reduce.invoke(core.clj:6177) ~[clojure-1.5.1.jar:na] at clojure.core reduce.invoke(core.clj:6177) [clojure−1.5.1.jar:na]atclojure.coreinto.invoke(core.clj:6229) ~[clojure-1.5.1.jar:na]

at backtype.storm.daemon.nimbusKaTeX parse error: Expected group after '_' at position 17: …ompute_topology_̲_GT_executors.i…compute_new_topology__GT_executor__GT_node_PLUS_port.invoke(nimbus.clj:550) ~[storm-core-0.9.5.jar:0.9.5]

at backtype.storm.daemon.nimbus m k a s s i g n m e n t s . d o I n v o k e ( n i m b u s . c l j : 662 )   [ s t o r m − c o r e − 0.9.5. j a r : 0.9.5 ] a t c l o j u r e . l a n g . R e s t F n . i n v o k e ( R e s t F n . j a v a : 410 )   [ c l o j u r e − 1.5.1. j a r : n a ] a t b a c k t y p e . s t o r m . d a e m o n . n i m b u s mk_assignments.doInvoke(nimbus.clj:662) ~[storm-core-0.9.5.jar:0.9.5] at clojure.lang.RestFn.invoke(RestFn.java:410) ~[clojure-1.5.1.jar:na] at backtype.storm.daemon.nimbus mka​ssignments.doInvoke(nimbus.clj:662) [storm−core−0.9.5.jar:0.9.5]atclojure.lang.RestFn.invoke(RestFn.java:410) [clojure−1.5.1.jar:na]atbacktype.storm.daemon.nimbusfn__3724KaTeX parse error: Expected group after '_' at position 8: exec_fn_̲_1103__auto____…fn__3730KaTeX parse error: Expected group after '_' at position 3: fn_̲_3731.invoke(ni…fn__3724KaTeX parse error: Expected group after '_' at position 8: exec_fn_̲_1103__auto____…fn__3730.invoke(nimbus.clj:908) ~[storm-core-0.9.5.jar:0.9.5]

at backtype.storm.timer s c h e d u l e r e c u r r i n g schedule_recurring scheduler​ecurringthis__1807.invoke(timer.clj:99) ~[storm-core-0.9.5.jar:0.9.5]

at backtype.storm.timer m k t i m e r mk_timer mkt​imerfn__1790KaTeX parse error: Expected group after '_' at position 3: fn_̲_1791.invoke(ti…mk_timer$fn__1790.invoke(timer.clj:42) ~[storm-core-0.9.5.jar:0.9.5]

at clojure.lang.AFn.run(AFn.java:24) ~[clojure-1.5.1.jar:na]

at java.lang.Thread.run(Thread.java:724) ~[na:1.7.0_25]

2019-11-24T10:43:46.368+0800 b.s.util [ERROR] Halting process: (“Error when processing an event”)

java.lang.RuntimeException: (“Error when processing an event”)

分析：

nimbus重新開機後便down掉是因為zookeeper裡還保留着之前異常挂掉storm的資訊，以至于每次重新開機storm的時候，zookeeper都會去讀取該topology資訊，如果重新開機的時候已經将{storm.local.dir}目錄下的檔案删除了，便會報找不到檔案了。此時應該将zookeeper的storm也删除掉，實作同步。

解決方案：

如果不清楚zookeeper安裝在哪裡，則是使用指令查詢

find / -name zkCli.sh

我的zookeeper安裝位置：

/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/zookeeper/bin

則修複步驟：

1、進入目錄：

cd /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/zookeeper/bin

2、輸入 ./zkCli.sh

3、檢視服務： ls /

4、删除storm的服務： rmr /storm

5、重新開機storm即可

當然也要記得将配置中{storm.local.dir}的路徑的supervisor，nimbus目錄删除掉

PS：kill掉storm程序指令

ps -ef | grep storm | grep -v ‘grep’ | awk ‘{print $2}’ | xargs kill -9