天天看点

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

DeepLabCut学习笔记:

安装环境前,请先看看环境

conda env list

DeepLabCut-live-GUI是一个实时使用DLC进行小鼠追踪的GUI软件。他独立运行DLC。需要配置一个摄像头,还有巡林好的DLC模型。 不是我想要的东西。

如何安装和启动DeepLabCut-live-GUI?

安装:pip install deeplabcut-live-gui

启动:dlclivegui

如何安装DLC带有GUI的软件呢?

(1)安装环境:

conda create -n DLC python=3.7 tensorflow==1.13.1

conda activate DLC

pip install -r requirements.txt

(2)安装deeplabcut

pip install deeplabcut

pip install deeplabcut[gui]

(3)启动deeplabcut(启动失败的话,是因为没有装wxPython,在 requirements.txt里加上wxPython<4.1.0 安装的版本好像是4.0.7 )

import deeplabcut

deeplabcut.launch_dlc()

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

启动起来了

在linux重新操作(及时止损)

conda create -n DLC python=3.7 tensorflow=1.13.1

wxpython安装失败,及时放弃。

conda activate base

conda remove -n DLC --all

conda remove -n DLC --all

conda在0.1服务器上创建环境

conda create -n DLC-TN python=3.7

linux下 conda如何修改源?

nano ~/.condarc

channels:

- defaults

show_channel_urls: true

default_channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

custom_channels:

conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

ctrl+x退出并保存

conda activate DLC-TN

pip 修改源地址

pip install 好像就可以了

在linux启动jupyter服务器:

最后设置本地端口转发ssh

win10 您可以设置 SSH 本地端口转发 linux

ssh -fNg -L 8888:172.16.1.240:8889 user@xxxxxxxx

raygen.com

先删除本地的.ssh文件

结局:

(1)colab转发失败,好像是因为.1服务器无法访问google网站;

(2)tensorflow也安装失败了,因为,环境的问题。准备重新安装;

conda remove -n DLC-TN --all

上传DLC-GPU.yaml文件

下载地址:​​http://www.mackenziemathislab.org/deeplabcut/​​

conda env create -f DLC-GPU.yaml

conda activate DLC-GPU-TN

好像是成功了。

最终使用的解决方案是:

在.1服务器上。通过VNC连接桌面服务,直接使用GUI,开始搞。

在win10上如何运行能启动DeepLabCut-GPU的环境(不应该有这种想法,浪费了整整一天。到2021年4月8日19:14:21,还没成功训练起来,一直卡在开始训练这里,连CPU训练都不管用了。真的服了。这是什么bug重启一下?)

conda create -n QTNLS python=3.7 tensorflow-gpu=1.13.1

conda activate QTNLS

pip install -r requirements.txt(官网上的)

然后再

pip install tensorflow-gpu==1.13.1

奔溃了,还是不行报错:

DLL load failed

(我怀疑一种可能。是因为cuda的版本没对应上。)

我的cuda(nvidia-smi上显示的)版本是11。但是我装的是10啊。准备再虚拟机上试一试(md 虚拟机的环境太老,需要更新)

下载https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=53840

安装失败,提示我已经安装过了

pip install wxPython<4.1.0

pip install wxPython==4.0.7

换成CPU版本的就好了。

CPU的利用率大概能飙升到--->没动啊,还是10左右。

但是风扇呼呼的在响。

承受了这么多,终于想起来试试docker了。

tensorflow-gpu真的要人狗命。

删了环境,重装了CUDA10.0(之前的好像是10.1)

activate QTNLS

pip install tensorflow==1.13.1

"tensorflow-gpu=1.13.1"别写在conda create后边没用

还需要重新tensorflow-gpu

我再去我的虚拟机上搞一遍试试

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

终于,终于,终于,看到了我梦寐以求,的结果。

我去。。。。虽然代码跑起来了。但是,gpu就抽搐了一下,还是不能接着训练:

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

一直卡在Starting training...

但是Linux却可以训练。服了..真的服了。

重返windows

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

然后成功运行

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

GPU呢?

刚准备运行:

Successfully opened dynamic library cudnn64_7.dll

Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED

attempting to perform DNN operation using StreamExecutor without DNN support

CPU->GPU Memcpy failed

就出错了

config = tf.ConfigProto()

config.gpu_options.per_process_gpu_memory_fraction = 0.6

sess = tf.Session(config=config)

上边的不中用。

GUI也不中用。用cmd,终于,中用了!!!

ipython

path_config_file = r'D:\PythonProject\DeepLabCut\testProject\TNSystem-TN-2021-04-02\config.yaml'

deeplabcut.train_network(path_config_file, allow_growth=True)

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)
在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

GPU 终于中用了!!!

太好了。

终于

2021年4月8日20:35:26

不管是在linux上,还是window上,我都能顺利地运行deeplabcut了

关键点:

(1)环境最重要了。python3.7  cuda=10.0, cudnn=10.0

(2)运行GPU的环境时,训练模型要用ipython,不能用GPU。这个问题在linux下就没有。

(3)这玩意,又浪费了我一天的时间。

不过还好,都是我的经验了。形成了该笔记。