分类：Pandas

2020
09-27

利用pandas向一个csv文件追加写入数据的实现示例

我们越来越多的使用pandas进行数据处理，有时需要向一个已经存在的csv文件写入数据，传统的方法之前我也有些过，向txt，excel文件写入数据，传送门：Python将二维列表（list）的数据输出（TXT，Excel）pandasto_csv()只能在新文件写数据？当然不是！pandasto_csv()是可以向已经存在的具有相同结构的csv文件增加dataframe数据。df.to_csv('my_csv.csv',mode='a',header=False)to_csv()方法mode默认为w，我们加上mode='a'，便可... 继续阅读 >
2020
09-27

详解pandas绘制矩阵散点图(scatter_matrix)的方法

使用散点图矩阵图，可以两两发现特征之间的联系pd.plotting.scatter_matrix(frame,alpha=0.5,c,figsize=None,ax=None,diagonal='hist',marker='.',density_kwds=None,hist_kwds=None,range_padding=0.05,**kwds)1、frame，pandasdataframe对象2、alpha，图像透明度，一般取(0,1]3、figsize，以英寸为单位的图像大小，一般以元组(width,height)形式设置4、ax，可选一般为none5、diagonal，必须且只能在{‘hist',‘kde... 继续阅读 >
2020
09-27

python数据处理——对pandas进行数据变频或插值实例

这里首先要介绍官方文档，对python有了进一步深度的学习的大家们应该会发现，网上不管csdn或者简书上还是什么地方，教程来源基本就是官方文档，所以英语只要还过的去，推荐看官方文档，就算不够好，也可以只看它里面的sample就够了好了，不说废话，看我的代码：importpandasaspdimportnumpyasnprng=pd.date_range('20180101',periods=40)ts=pd.Series(np.arange(1,41),index=rng)#这一行和上一行生成了一个index为时间... 继续阅读 >
2020
09-27

pandas中read_csv、rolling、expanding用法详解

pandas中read_csv、rolling、expanding用法详解 如下所示：importpandasaspdfrompandasimportDataFrameseries=pd.read_csv('daily-min-temperatures.csv',header=0,index_col=0,parse_dates=True,squeeze=True)temps=DataFrame(series.values)width=3shifted=temps.shift(width-1)print(shifted)window=shifted.rolling(window=width)dataframe=DataFrame()dataframe=pd.concat([window.min(),window.mean(),window.max(),temps],axis=1)dataframe.co... 继续阅读 >
2020
09-27

Pandas之read_csv()读取文件跳过报错行的解决

读取文件时遇到和列数不对应的行，此时会报错。若报错行可以忽略，则添加以下参数:样式：pandas.read_csv(***,error_bad_lines=False)pandas.read_csv(filePath)方法来读取csv文件时，可能会出现这种错误：ParserError：Errortokenizingdata.Cerror:Expected2fieldsinline407,saw3.是指在csv文件的第407行数据，期待2个字段，但在第407行实际发现了3个字段。原因：header只有两个字段名，但数据的第407行却出现了3个字段... 继续阅读 >
2020
09-27

pandas读取csv文件提示不存在的解决方法及原因分析

一般情况是数据文件没有在当前路径，那么它是无法读取数据的。另外，如果路径名包含中文它也是无法读取的。（1）可以选择：importosos.getcwd()获得当前的工作路径，把你的数据文件放在此路径上就可以了，就可以直接使用pd.read_csv("./_.csv")（2）可以选择：使用os.chdir(path),path是你的那个数据文件路径（3）可以选择：不更改路径，直接调用df=pd.read_csv(U"文件存储的盘（如C盘）：/文件夹/文件名。csv"),比如在C盘的Pyth... 继续阅读 >
2020
09-27

pandas数据拼接的实现示例

一前言pandas数据拼接有可能会用到，比如出现重复数据，需要合并两份数据的交集，并集就是个不错的选择，知识追寻者本着技多不压身的态度蛮学习了一下下；二数据拼接在进行学习数据转换之前，先学习一些数拼接相关的知识2.1join()联结有关merge操作知识追寻者这边不提及，有空可能后面会专门出一篇相关文章，因为其学习方式根SQL的表联结类似，不是几行能说清楚的知识点；join操作能将2个DataFrame合并为一块，前提是DataFra... 继续阅读 >
2020
09-27

pandas分组聚合详解

一前言pandas学到分组迭代，那么基础的pandas系列就学的差不多了，自我感觉不错，知识追寻者用pandas处理过一些数据，蛮好用的；知识追寻者(Inheritingthespiritofopensource,Spreadingtechnologyknowledge;)二分组2.1数据准备#-*-coding:utf-8-*-importpandasaspdimportnumpyasnpframe=pd.DataFrame({'user':['zszxz','craler','rose','zszxz','rose'],'hobby':['reading','running','hiking','read... 继续阅读 >
2020
09-27

pandas 强制类型转换 df.astype实例

pandas 强制类型转换 df.astype实例 废话不多说，大家还是直接看代码吧！importpandasaspdfrommatplotlibimportpyplotaspltfromdatetimeimportdatetimefilename='sitka_weather_2014.csv'df=pd.read_csv(filename)print(df.dtypes)df['MinHumidity']=df['MinHumidity'].astype('float64')df=df.astype({'MaxHumidity':'float64','MaxDewPointF':'float64'})print('*'*44)print(df.dtypes)补充知识：pythonpandas转换数据类型astype(int)报错问题代... 继续阅读 >
2020
09-24

python pandas.DataFrame.loc函数使用详解

官方函数DataFrame.locAccessagroupofrowsandcolumnsbylabel(s)orabooleanarray..loc[]isprimarilylabelbased,butmayalsobeusedwithabooleanarray.#可以使用label值，但是也可以使用布尔值Allowedinputsare:#可以接受单个的label，多个label的列表，多个label的切片Asinglelabel,e.g.5or‘a',(notethat5isinterpretedasalabeloftheindex,andneverasanintegerpositional... 继续阅读 >
2020
09-24

python pandas利用fillna方法实现部分自动填充功能

昨天，我们学习了pandas中的dropna方法，今天，学习一下fillna方法。该方法的主要作用是实现对NaN值的填充功能。该方法主要有3个参数，分别是：value，method，limit等。其余参数可以通过调用help函数获取信息。（1）value该参数主要是确定填充数值>>>df=pd.read_excel(r'D:/myExcel/1.xlsx')>>>dfnameChineseChinese.1id0bob12.012123.01millorNaN32124.02jiken89.089NaN3jiken89.089125.... 继续阅读 >
2020
09-24

PyCharm 无法 import pandas 程序卡住的解决方式

PyCharm 无法 import pandas 程序卡住的解决方式 问题描述：之前一直用习惯了jupyternotebook,今天换一下IDE，直接用Pycharm，结果发现在importpandas的时候，虽然不报错，但是程序无法运行比如这个代码，只能打印出第一句开始读取，之后程序一直运行，但不停止。。。让我很是头大啊。。在网上搜了各种各样的解决方法。设置解释器。。。一系列的都没有问题但是pandas还是不能引入，好了使用暴力解决的方法，卸载重新安装找到pandas包点击红色的减号，等待卸载等待成功之后点击... 继续阅读 >
2020
09-24

详解pandas中iloc, loc和ix的区别和联系

Pandas库十分强大，但是对于切片操作iloc,loc和ix，很多人对此十分迷惑，因此本篇博客利用例子来说明这3者之一的区别和联系，尤其是iloc和loc。对于ix，由于其操作有些复杂，我在另外一篇博客专门详细介绍ix。首先，介绍这三种方法的概述：loc getsrows(orcolumns)withparticular labels fromtheindex.loc从索引中获取具有特定标签的行（或列）。这里的关键是：标签。标签的理解就是name名字。iloc&nb... 继续阅读 >
2020
09-24

pandas中ix的使用详细讲解

在上一篇博客中，我们已经仔细讲解了iloc和loc，只是简单了提到了ix。这是因为相比于前2者，ix更复杂，也更让人迷惑。因此，本篇博客通过例子的解释试图来描述清楚ix，尤其是与iloc和loc的联系。首先，再次介绍这三种方法的概述：loc getsrows(orcolumns)withparticular labels fromtheindex.loc从索引中获取具有特定标签的行（或列）。iloc getsrows(orcolumns)atparticular positions... 继续阅读 >
2020
09-24

如何使用pandas读取txt文件中指定的列(有无标题)

如何使用pandas读取txt文件中指定的列(有无标题) 最近在倒腾一个txt文件，因为文件太大，所以给切割成了好几个小的文件，只有第一个文件有标题，从第二个开始就没有标题了。我的需求是取出指定的列的数据，踩了些坑给研究出来了。importpandasaspd#我们的需求是取出所有的姓名#test1的内容'''idnamescore1张三1002李四993王五98'''test1=pd.read_table("test1.txt")#这个是带有标题的文件names=test1["name"]#根据标题来取值print(names)'''张三李四王... 继续阅读 >