分类：显存分配

2020
12-10

弄清Pytorch显存的分配机制

对于显存不充足的炼丹研究者来说，弄清楚Pytorch显存的分配机制是很有必要的。下面直接通过实验来推出Pytorch显存的分配过程。实验实验代码如下：importtorchfromtorchimportcudax=torch.zeros([3,1024,1024,256],requires_grad=True,device='cuda')print("1",cuda.memory_allocated()/1024**2)y=5*xprint("2",cuda.memory_allocated()/1024**2)torch.mean(y).backward()print("3",cuda.memory_allo... 继续阅读 >