分类：加速Dataloader

2021
07-21

Pytorch 如何加速Dataloader提升数据读取速度

在利用DL解决图像问题时，影响训练效率最大的有时候是GPU，有时候也可能是CPU和你的磁盘。很多设计不当的任务，在训练神经网络的时候，大部分时间都是在从磁盘中读取数据，而不是做Backpropagation。这种症状的体现是使用Nividia-smi查看GPU使用率时，Memory-Usage占用率很高，但是GPU-Util时常为0%，如下图所示：如何解决这种问题呢？在Nvidia提出的分布式框架Apex里面，我们在源码里面找到了一个简单的解决方案：... 继续阅读 >