I0221 21:47:41.826748 6797 solver.cpp:259] Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)
I0221 21:47:41.826756 6797 solver.cpp:590] Iteration 9980, lr = 0.001
I0221 21:47:44.453655 6797 solver.cpp:468] Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel
I0221 21:47:44.453685 6797 net.cpp:948] Serializing 25 layers
F0221 21:47:47.096515 6797 io.cpp:69] Check failed: proto.SerializeToOstream(&output)
*** Check failure stack trace: ***
@ 0x7f06066beb7d google::LogMessage::Fail()
@ 0x7f06066c0c7f google::LogMessage::SendToLog()
@ 0x7f06066be76c google::LogMessage::Flush()
@ 0x7f06066c151d google::LogMessageFatal::~LogMessageFatal()
@ 0x7f0606effe4e caffe::WriteProtoToBinaryFile()
@ 0x7f0606e1d30f caffe::WriteProtoToBinaryFile()
@ 0x7f0606e20a46 caffe::Solver<>::SnapshotToBinaryProto()
@ 0x7f0606e206ec caffe::Solver<>::Snapshot()
@ 0x7f0606e1fe72 caffe::Solver<>::Step()
@ 0x7f0606e1f1d3 caffe::Solver<>::Solve()
@ 0x416280 train()
@ 0x418206 main
@ 0x7f0605be376d (unknown)
@ 0x414fe9 (unknown)
Aborted (core dumped)
d302@d302-MS-7816-04:~/wangxiao/caffe-master$
解決方案: 2016年8月14号 補充
前兩天有園友來問我,這個問題有沒有解決,我回答說:忘了,好久之前的了,果然今天就出現了這個問題,昨晚跑的 VGG,出現了相同的問題,可是我之前跑那個代碼 一直沒問題啊,呃呃呃,我看錯誤是:
Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel
Check failed: proto.SerializeToOstream(&output)
我掃了一眼,儲存的 caffemodel,發現: _iter_10000.caffemodel 是存在的,但是 _iter_10000.solverstate 不在,估計是儲存的問題,難道是空間不夠用了?我删除了其他無關的 model,在 8000次疊代産生的 model上繼續訓練,待會就知道是否是 磁盤空間不足導緻的問題了。。。
目測,已經過了那個錯誤的點了,是以,解決這個問題的答案是:存儲空間不足,清理磁盤空間吧 。。。
另外,感謝園友的提醒,他解決的方法是:
原來是之前穿件檔案用了sudo,跑程式的時候沒有加sudo,導緻權限不夠,加了sudo後就ok了