分类：Pytorch训练

2021
07-30

pytorch 如何在GPU上训练

1.网络模型转移到CUDA上net=AlexNet()net.cuda()#转移到CUDA上2.将loss转移到CUDA上criterion=nn.CrossEntropyLoss()criterion=criterion.cuda()这一步不做也可以，因为loss是根据out、label算出来的loss=criterion(out,label)只要out、label在CUDA上，loss自然也在CUDA上了，但是发现不转移到CUDA上准确率竟然降低了1%3.将数据集转移到CUDA上这里要解释一下数据集使用方法#downloadthedatasettrain_set=CIFAR10("./d... 继续阅读 >

2021
07-26

pytorch 两个GPU同时训练的解决方案

使用场景我有两个GPU卡。我希望我两个GPU能并行运行两个网络模型。代码错误代码1：#对于0号GPUos.environ['CUDA_VISIBLE_DEVICES']='0,1'device=torch.device("cuda:0"iftorch.cuda.is_available()else"cpu")#对于1号GPUos.environ['CUDA_VISIBLE_DEVICES']='0,1'device=torch.device("cuda:1"iftorch.cuda.is_available()else"cpu")0号GPU不报错，1号GPU报错。错误如下RuntimeError:Expectedtensorforargument#1... 继续阅读 >

2021
07-26

pytorch通过训练结果的复现设置随机种子

通过设置全局随机种子使得每次的训练结果相同可以复现defseed_torch(seed=2018):random.seed(seed)os.environ['PYTHONHASHSEED']=str(seed)np.random.seed(seed)torch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.backends.cudnn.deterministic=True这里我主要讲一下模型在复现结果遇到的一些问题。首先在固定随机种子之后，每次模型训练出来的结果一定是一样的，如果不相同，那么说明训练... 继续阅读 >

2021
07-22

使用Pytorch训练two-head网络的操作

之前有写过一篇如何使用Pytorch实现two-head（多输出）模型在那篇文章里，基本把two-head网络以及构建讲清楚了（如果不清楚请先移步至那一篇博文）。但是我后来发现之前的训练方法貌似有些问题。以前的训练方法：之前是把两个head分开进行训练的，因此每一轮训练先要对一个batch的数据进行划分，然后再分别训练两个头。代码如下：f_out_y0,_=net(x0)_,f_out_y1=net(x1)#实例化损失函数... 继续阅读 >

2021
07-09

PyTorch梯度裁剪避免训练loss nan的操作

近来在训练检测网络的时候会出现loss为nan的情况，需要中断重新训练，会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制，修改之后，不再出现loss为nan的情况。PyTorch中采用torch.nn.utils.clip_grad_norm_来实现梯度裁剪，链接如下：https://pytorch.org/docs/stable/_modules/torch/nn/utils/clip_grad.html训练代码使用示例如下：fromtorch.nn.utilsimportclip_grad_norm_outputs=mode... 继续阅读 >