以下是在多GPU并行torch程序的时候出现的问题以及解决方案：
1.torch.distributed.elastic.multiprocessiong.erroes.ChildFailedError:
此类问题的解决方案：1.查看安装的包是否与要求的一致。
2.更改batch的大小。
3.查看其中是否有某一个gpu被占用。
- torch.distributed.elastic.multiprocessing.api.SignalException: Process 40121 got signal: 1
在pytorch的多GPU并行时，使用nohup 会出现以上的问题，当关闭会话窗口的时候，相应的并行程序也就终止了。
一种解决方法使用tmux,tmux的使用方法：
Tmux的启动:tmux
带有名字的启动：tmux new -s 名称
退出：exit
分离会话：tmux detach
重新会话：tmux a -t 名称
Kill会话：tmux kill-session -t 名称
切换：tmux switch -t 名称
重命名：tmux rename-session -t 名称 名称1
Original: https://blog.csdn.net/rucieryi369/article/details/124703773
Author: rucieryi369
Title: pytorch多GPU并行的问题
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/717389/
转载文章受原作者版权保护。转载请注明原作者出处！