天天看點

caffe: train error: Serializing 25 layers--- Check failed: proto.SerializeToOstream(&output)

I0221 21:47:41.826748  6797 solver.cpp:259]     Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)

I0221 21:47:41.826756  6797 solver.cpp:590] Iteration 9980, lr = 0.001

I0221 21:47:44.453655  6797 solver.cpp:468] Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel

I0221 21:47:44.453685  6797 net.cpp:948] Serializing 25 layers

F0221 21:47:47.096515  6797 io.cpp:69] Check failed: proto.SerializeToOstream(&output)

*** Check failure stack trace: ***

    @     0x7f06066beb7d  google::LogMessage::Fail()

    @     0x7f06066c0c7f  google::LogMessage::SendToLog()

    @     0x7f06066be76c  google::LogMessage::Flush()

    @     0x7f06066c151d  google::LogMessageFatal::~LogMessageFatal()

    @     0x7f0606effe4e  caffe::WriteProtoToBinaryFile()

    @     0x7f0606e1d30f  caffe::WriteProtoToBinaryFile()

    @     0x7f0606e20a46  caffe::Solver<>::SnapshotToBinaryProto()

    @     0x7f0606e206ec  caffe::Solver<>::Snapshot()

    @     0x7f0606e1fe72  caffe::Solver<>::Step()

    @     0x7f0606e1f1d3  caffe::Solver<>::Solve()

    @           0x416280  train()

    @           0x418206  main

    @     0x7f0605be376d  (unknown)

    @           0x414fe9  (unknown)

Aborted (core dumped)

d302@d302-MS-7816-04:~/wangxiao/caffe-master$

解決方案:  2016年8月14号 補充

caffe: train error: Serializing 25 layers--- Check failed: proto.SerializeToOstream(&output)

前兩天有園友來問我,這個問題有沒有解決,我回答說:忘了,好久之前的了,果然今天就出現了這個問題,昨晚跑的 VGG,出現了相同的問題,可是我之前跑那個代碼 一直沒問題啊,呃呃呃,我看錯誤是:

Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel

Check failed: proto.SerializeToOstream(&output) 

我掃了一眼,儲存的 caffemodel,發現: _iter_10000.caffemodel 是存在的,但是 _iter_10000.solverstate 不在,估計是儲存的問題,難道是空間不夠用了?我删除了其他無關的 model,在 8000次疊代産生的 model上繼續訓練,待會就知道是否是 磁盤空間不足導緻的問題了。。。

目測,已經過了那個錯誤的點了,是以,解決這個問題的答案是:存儲空間不足,清理磁盤空間吧 。。。

另外,感謝園友的提醒,他解決的方法是:

  原來是之前穿件檔案用了sudo,跑程式的時候沒有加sudo,導緻權限不夠,加了sudo後就ok了