分类：dataframe数据

2021
04-07

浅谈Pandas dataframe数据处理方法的速度比较

数据修改主要以增删改差为主，这里比较几种写法在数据处理时间上的巨大差别。数据量大概是500万行级别的数据，文件大小为100M。1.ilociloc是一种速度极其慢的写法。这里我们对每个csv文件中的每一行循环再用iloc处理，示例代码如下：forindexinrange(len(df)):df.iloc['attr'][index]=xxx使用这种方法对五百万行的数据进行处理大概需要5个小时，实在是很慢。2.atat相比于iloc有了很大的性能提升，也是for循环处理，示例代... 继续阅读 >