分类：数据预处理

2021
03-30

Pytorch数据读取与预处理该如何实现

在炼丹时，数据的读取与预处理是关键一步。不同的模型所需要的数据以及预处理方式各不相同，如果每个轮子都我们自己写的话，是很浪费时间和精力的。Pytorch帮我们实现了方便的数据读取与预处理方法，下面记录两个DEMO，便于加快以后的代码效率。根据数据是否一次性读取完，将DEMO分为：1、串行式读取。也就是一次性读取完所有需要的数据到内存，模型训练时不会再访问外存。通常用在内存足够的情况下使用，速度更快。... 继续阅读 >
2020
10-08

python 删除excel表格重复行,数据预处理操作

使用python删除excel表格重复行。#导入pandas包并重命名为pdimportpandasaspd#读取Excel中Sheet1中的数据data=pd.DataFrame(pd.read_excel('test.xls','Sheet1'))#查看读取数据内容print(data)#查看是否有重复行re_row=data.duplicated()print(re_row)#查看去除重复行的数据no_re_row=data.drop_duplicates()print(no_re_row)#查看基于[物品]列去除重复行的数据#wp=data.drop_duplicates(['物品'])#print(w... 继续阅读 >