2020
10-10
10-10
pytorch使用horovod多gpu训练的实现
pytorch在Horovod上训练步骤分为以下几步：importtorchimporthorovod.torchashvd#InitializeHorovod初始化horovodhvd.init()#PinGPUtobeusedtoprocesslocalrank(oneGPUperprocess)分配到每个gpu上torch.cuda.set_device(hvd.local_rank())#Definedataset...定义datasettrain_dataset=...#PartitiondatasetamongworkersusingDistributedSampler对dataset的采样器进行调整，使用torch.utils.data.d...
继续阅读 >