conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]

*
一、问题描述
二、网上解决方案罗列【此节为反面方案罗列!!!】
三、发现的根本原因[独家]

+ 3.1 pytorch文件命名格式
+ 3.2 问题的根本原因:找不到对应GPU版本的pytorch文件,所以conda就用CPU替代了=v=
+ 3.3 解决方案

一、问题描述

按照pytorch官网安装pytorch GPU版本,结果却是CPU版本。

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]

我的倔脾气,嘿!反反复复安装、卸载个五、六、七、八 遍。才意识到再操作一遍也是一样的结果。

; 二、网上解决方案罗列【此节为反面方案罗列!!!】

还是上网搜索:

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]
结果发现,遇到和我同样问题的还不少。

我发现大家的解决办法不相同,大致如下:

解决方案一:卸载 pytorch-mutex

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]
解决方案二:卸载 cpuonly
conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]
解决方案三:卸载 numpy,哦呵…

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]
如果继续往下看,你或许明白上面的方案的确能解决问题。但是,这种神秘性以及某种被约束的感觉真的不是太好。上面这些方案,其实就是 瞎猫碰上死耗子!!! 他们能起作用本身就是一个BUG。

程序员的诡异操作,写的代码莫名其妙运行起来了。。

想知道这个问题产生的根本原因以及根本解决方案,那么请继续跟着我一起往下看吧…

三、发现的根本原因[独家]

3.1 pytorch文件命名格式

首先介绍一个 pytorch的文件名的普通命名格式。

一个在 python=3.7conda 环境下, cudatoolkit=10.1版本的 pytorch=1.7.0的文件名为: pytorch-1.7.0-py3.7_cuda10.1.243_cudnn7.6.3_0.tar.bz2

一个在 python=3.7conda 环境下, CPU版本的 pytorch=1.7.0的文件名为 pytorch-1.7.0-py3.7_cpu_0.tar.bz2

从上可以看出,不同的python版本,GPU/CPU,若是GPU版本,则cudatoolkit的版本,再加上pytorch的版本,唯一指定一个pytorch安装文件。

明白这个,我们再继续往下。

3.2 问题的根本原因:找不到对应GPU版本的pytorch文件,所以conda就用CPU替代了=v=

先说一下问题产生的根本原因:指定某一版本 cudatoolkit下的指定版本的 pytorch不在源(国内conda镜像源或因外源)中,导致某一版本 cudatoolkit下的指定版本的 pytorch无法被conda install找到,然而不凑巧的是,源中却有指定版本的 pytorch,不过它是CPU版本。那么,conda install这个小机灵鬼自作主张的替你安装了这个版本。结果就是,你觉得明明安装的是GPU版pytorch,可是像是有种神秘力量让你最终得到的总是cpu版pytorch。

例子1

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

-c pytorch是指在官方源里找库。此时,如果conda官方源里没有(或者由于网络问题无法访问官方源) cudatoolkit=11.3对应的GPU版 pytorch,而此时conda install又找到一个CPU版的 pytorch,那么结果是,它给你安装了这个cpu版的 pytorch

例子2

conda create -n pytorch-GPU python=3.7
conda activate pytorch-GPU
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda install cudatoolkit=10.0 -c http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/
conda install cudnn=7.6 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/
conda install pytorch==1.7.0 torchvision==0.8 cudatoolkit=10.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/

我想通过国内的镜像源来安装 cudatoolkit=10.0版本的 pytorch==1.7.0,结果我发现安装的还是cpu版本。我在https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/上发现,原来镜像源里根本没这个文件。于是,conda install这个小机灵鬼又自作主张的给我装了cpu版本的文件 pytorch-1.7.0-py3.7_cpu_0.tar.bz2,它给我装的文件python版本相同,pytorch版本相同,唯一不同的就是CPU/GPU。

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]

此处需要指出,若采用官方命令 conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch,安装的是 pytorch==1.4.0版本,此版本在 from torch.cuda.amp import GradScaler, autocast时会报错 from torch.cuda.amp import GradScaler, autocast。网上说是1.4版本太低,换1.7就好了。

; 3.3 解决方案

我们安装前先要确定源中是否真的有我们组合出来的版本,[python|cudatoolkit|pytorch]这三个版本不同的组合,真的不一定有。

例如,我发现根本没有满足 python=3.7cudatoolkit=10.0以及 pytorch=1.7.0的版本,但是在镜像源中,我发现有 python=3.7cudatoolkit=10.1以及 pytorch=1.7.0的版本,于是用以下命令安装:

conda create -n pytorch-GPU python=3.7
conda activate pytorch-GPU
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda install cudatoolkit=10.1 -c http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/
conda install cudnn=7.6 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/
conda install pytorch==1.7.0 torchvision==0.8 cudatoolkit=10.1 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/

仔细看下图的倒数第5行,我们发现,conda install找到对应的gpu版本,此时,它便不好去自作主张了,乖乖地给我安装gpu版本吧。

conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]

以上
by windSeS
2022-7-21

Original: https://blog.csdn.net/u013468614/article/details/125910538
Author: windSeS
Title: conda安装GPU版pytorch,结果却是cpu版本[找到问题根源,从容解决]

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/625444/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球