天天看點

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

DeepLabCut學習筆記:

安裝環境前,請先看看環境

conda env list

DeepLabCut-live-GUI是一個實時使用DLC進行小鼠追蹤的GUI軟體。他獨立運作DLC。需要配置一個攝像頭,還有巡林好的DLC模型。 不是我想要的東西。

如何安裝和啟動DeepLabCut-live-GUI?

安裝:pip install deeplabcut-live-gui

啟動:dlclivegui

如何安裝DLC帶有GUI的軟體呢?

(1)安裝環境:

conda create -n DLC python=3.7 tensorflow==1.13.1

conda activate DLC

pip install -r requirements.txt

(2)安裝deeplabcut

pip install deeplabcut

pip install deeplabcut[gui]

(3)啟動deeplabcut(啟動失敗的話,是因為沒有裝wxPython,在 requirements.txt裡加上wxPython<4.1.0 安裝的版本好像是4.0.7 )

import deeplabcut

deeplabcut.launch_dlc()

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

啟動起來了

在linux重新操作(及時止損)

conda create -n DLC python=3.7 tensorflow=1.13.1

wxpython安裝失敗,及時放棄。

conda activate base

conda remove -n DLC --all

conda remove -n DLC --all

conda在0.1伺服器上建立環境

conda create -n DLC-TN python=3.7

linux下 conda如何修改源?

nano ~/.condarc

channels:

- defaults

show_channel_urls: true

default_channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

custom_channels:

conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

ctrl+x退出并儲存

conda activate DLC-TN

pip 修改源位址

pip install 好像就可以了

在linux啟動jupyter伺服器:

最後設定本地端口轉發ssh

win10 您可以設定 SSH 本地端口轉發 linux

ssh -fNg -L 8888:172.16.1.240:8889 user@xxxxxxxx

raygen.com

先删除本地的.ssh檔案

結局:

(1)colab轉發失敗,好像是因為.1伺服器無法通路google網站;

(2)tensorflow也安裝失敗了,因為,環境的問題。準備重新安裝;

conda remove -n DLC-TN --all

上傳DLC-GPU.yaml檔案

下載下傳位址:​​http://www.mackenziemathislab.org/deeplabcut/​​

conda env create -f DLC-GPU.yaml

conda activate DLC-GPU-TN

好像是成功了。

最終使用的解決方案是:

在.1伺服器上。通過VNC連接配接桌面服務,直接使用GUI,開始搞。

在win10上如何運作能啟動DeepLabCut-GPU的環境(不應該有這種想法,浪費了整整一天。到2021年4月8日19:14:21,還沒成功訓練起來,一直卡在開始訓練這裡,連CPU訓練都不管用了。真的服了。這是什麼bug重新開機一下?)

conda create -n QTNLS python=3.7 tensorflow-gpu=1.13.1

conda activate QTNLS

pip install -r requirements.txt(官網上的)

然後再

pip install tensorflow-gpu==1.13.1

奔潰了,還是不行報錯:

DLL load failed

(我懷疑一種可能。是因為cuda的版本沒對應上。)

我的cuda(nvidia-smi上顯示的)版本是11。但是我裝的是10啊。準備再虛拟機上試一試(md 虛拟機的環境太老,需要更新)

下載下傳https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=53840

安裝失敗,提示我已經安裝過了

pip install wxPython<4.1.0

pip install wxPython==4.0.7

換成CPU版本的就好了。

CPU的使用率大概能飙升到--->沒動啊,還是10左右。

但是風扇呼呼的在響。

承受了這麼多,終于想起來試試docker了。

tensorflow-gpu真的要人狗命。

删了環境,重裝了CUDA10.0(之前的好像是10.1)

activate QTNLS

pip install tensorflow==1.13.1

"tensorflow-gpu=1.13.1"别寫在conda create後邊沒用

還需要重新tensorflow-gpu

我再去我的虛拟機上搞一遍試試

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

終于,終于,終于,看到了我夢寐以求,的結果。

我去。。。。雖然代碼跑起來了。但是,gpu就抽搐了一下,還是不能接着訓練:

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

一直卡在Starting training...

但是Linux卻可以訓練。服了..真的服了。

重返windows

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

然後成功運作

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

GPU呢?

剛準備運作:

Successfully opened dynamic library cudnn64_7.dll

Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED

attempting to perform DNN operation using StreamExecutor without DNN support

CPU->GPU Memcpy failed

就出錯了

config = tf.ConfigProto()

config.gpu_options.per_process_gpu_memory_fraction = 0.6

sess = tf.Session(config=config)

上邊的不中用。

GUI也不中用。用cmd,終于,中用了!!!

ipython

path_config_file = r'D:\PythonProject\DeepLabCut\testProject\TNSystem-TN-2021-04-02\config.yaml'

deeplabcut.train_network(path_config_file, allow_growth=True)

在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)
在linux上和window上運作deeplabcut,使用GPU(有點亂,還沒整理)

GPU 終于中用了!!!

太好了。

終于

2021年4月8日20:35:26

不管是在linux上,還是window上,我都能順利地運作deeplabcut了

關鍵點:

(1)環境最重要了。python3.7  cuda=10.0, cudnn=10.0

(2)運作GPU的環境時,訓練模型要用ipython,不能用GPU。這個問題在linux下就沒有。

(3)這玩意,又浪費了我一天的時間。

不過還好,都是我的經驗了。形成了該筆記。