分类：HDF

2020
10-06

python:HDF和CSV存储优劣对比分析

小数据用csv，大数据用h5结论1：几百KB以上的数据都用h5比较好结论2：几KB的数据h5反而很慢程序importpandasaspdimportnumpyasnpfromwja.wja_toolimporttest_timeasttfromwjaimportwja_toolastooldf=tool.generate_sampleDF(row,col)tt().run()df.to_csv('try.csv')tt().end()tt().run()df.to_hdf('try.h5','df',mode='w')tt().end()tt().run()df1=pd.read_csv('try.csv')tt().end()tt().run()df2=pd.read... 继续阅读 >