分类：Pandas

2021
09-09

python中pandas对多列进行分组统计的实现

使用groupby([]).size()统计的结果，值相同的字段值会不显示如上图所示，第一个空着的行是982499733881，因为此行与前面一行的这两个字段值是一样的，所以不显示。第二个空着的行是3901922242781，因为此行与前面一行的第一个字段值是一样的，所以不显示。这样的展示方式更直观，但对于刚用的人，可能会让其以为是缺失值。如果还不明白可以看下面的全部数据及操作。importpandasaspdres6=pd.read_csv('test.csv')res6.... 继续阅读 >

2021
09-04

Pandas实现Dataframe的重排和旋转

目录简介使用Pivot使用Stack使用melt使用Pivottables使用crosstabget_dummies简介使用Pandas的pivot方法可以将DF进行旋转变换，本文将会详细讲解pivot的秘密。使用Pivotpivot用来重组DF，使用指定的index，columns和values来对现有的DF进行重构。看一个Pivot的例子：通过pivot变化，新的DF使用foo中的值作为index，使用bar的值作为columns，zoo作为对应的value。再看一个时间变化的例子：In[1]:dfOut[1]:datevariabl... 继续阅读 >

2021
09-04

pandas数据处理清洗实现中文地址拆分案例

目录一、案例场景二、初步方案三、优化方案一、案例场景字段login_place，一共267725行记录,随机15条记录如下：  后续数据分析工作需要用到地理维度进行分析，所以需要把login_place字段进行拆分成：国家、省份、地区。二、初步方案  第三方中文分词库：jieba，可以对文本进行拆分。使用参考资料：jieba库的使用。初步方案：用jieba.cut()将文本拆分为单词列表list_word;分支判断list_word长度，... 继续阅读 >

2021
09-04

Python Pandas常用函数方法总结

初衷NumPy、Pandas、Matplotlib、SciPy等可以说是最最最常用的Python库了。我们在使用Python库的时候，通常会遇到两种情况。以Pandas举例。我想对Pandas数据结构的数据实现某种操作，但是我不知道或者说在我的印象里似乎已经不记得是否有这样的函数方法，如果有，又该用哪个方法呢？我想实现某种数据操作，我记得我用过或者见过某个函数可以实现这个功能，但是我死活想不起来那个函数叫啥了。或者，我想起来了哪... 继续阅读 >

2021
09-04

Pandas实现Dataframe的合并

目录简介使用concat使用append使用merge使用join覆盖数据简介Pandas提供了很多合并Series和Dataframe的强大的功能，通过这些功能可以方便的进行数据分析。本文将会详细讲解如何使用Pandas来合并Series和Dataframe。使用concatconcat是最常用的合并DF的方法，先看下concat的定义：pd.concat(objs,axis=0,join='outer',ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,copy=True)看一... 继续阅读 >

2021
07-22

Pandas加速代码之避免使用for循环

前言使用Pandasdataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去，编写Pythonfor循环，然后希望在合理的时间内处理数据。Pandas是为一次性处理整个行或列的矢量化操作而设计的，循环遍历每个单元格、行或列并不是它的设计用途。所以，在使用Pandas时，你应该考虑高度可并行化的矩阵运算。本文将教你如何使用Pandas设计使用的方式，并根据矩阵运算进行思考。在此过程中，我们将向你展示一些实用的节省... 继续阅读 >

2021
07-22

pandas提升计算效率的一些方法汇总

前言Pandas是为一次性处理整个行或列的矢量化操作而设计的，循环遍历每个单元格、行或列并不是它的设计用途。所以，在使用Pandas时，你应该考虑高度可并行化的矩阵运算。一、避免使用for循环尽量使用列号或者行号进行矩阵检索，避免使用for循环。1.1使用for循环importosimportpandasaspdimportdatetimepath=r'E:\科研文件\shiyan\LZQ\LZQ_all_sampledata.csv'defread_csv(target_csv):target=pd.read_csv(path,heade... 继续阅读 >

2021
07-17

pandas中DataFrame检测重复值的实现

本文详解如何使用pandas查看dataframe的重复数据，判断是否重复，以及如何去重DataFrame.duplicated(subset=None,keep='first')subset：如果你认为几个字段重复，则数据重复，就把那几个字段以列表形式放到subset后面。默认是所有字段重复为重复数据。keep:默认为'first',也就是如果有重复数据，则第一条出现的定义为False，后面的重复数据为True。如果为'last'，也就是如果有重复数据，则最后一条出现的定义为False，后... 继续阅读 >

2021
07-12

pandas DataFrame.shift()函数的具体使用

pandasDataFrame.shift()函数可以把数据移动指定的位数period参数指定移动的步幅,可以为正为负.axis指定移动的轴,1为行,0为列.eg:有这样一个DataFrame数据:importpandasaspddata1=pd.DataFrame({'a':[0,1,2,3,4,5,6,7,8,9],'b':[9,8,7,6,5,4,3,2,1,0]})printdata1ab009118227336445554663772881990如果想让a和b的数据都往下移动一位:data2=d... 继续阅读 >

2021
07-12

pandas中DataFrame重置索引的几种方法

在pandas中，经常对数据进行处理而导致数据索引顺序混乱，从而影响数据读取、插入等。小笔总结了以下几种重置索引的方法：importpandasaspdimportnumpyasnpdf=pd.DataFrame(np.arange(20).reshape((5,4)),columns=['a','b','c','d'])#得到df：abcd00123145672891011312131415416171819#对其重排顺序，得到索引顺序倒序... 继续阅读 >

2021
07-09

利用python Pandas实现批量拆分Excel与合并Excel

目录一、实例演示二、读取源Excel到Pandas三、将一个大Excel等份拆成多个Excel四、合并多个小Excel到一个大Excel一、实例演示1.将一个大Excel等份拆成多个Excel2.将多个小Excel合并成一个大Excel并标记来源work_dir="./course_datas/c15_excel_split_merge"splits_dir=f"{work_dir}/splits"importosifnotos.path.exists(splits_dir):os.mkdir(splits_dir)二、读取源Excel到PandasimportpandasaspdNooutputdf_source=p... 继续阅读 >

2021
07-09

Pandas DataFrame转换为字典的方法

该to_dict()方法将列名设置为字典键将“ID”列设置为索引然后转置DataFrame是实现此目的的一种方法。to_dict()还接受一个'orient'参数，您需要该参数才能输出每列的值列表。否则，{index:value}将为每列返回表单的字典。可以使用以下行完成这些步骤：>>>df.set_index('ID').T.to_dict('list'){'p':[1,3,2],'q':[4,3,2],'r':[4,0,9]}如果需要不同的字典格式，这里是可能的东方参数的示例。考虑以下简单的DataFrame：>... 继续阅读 >

2021
07-08

pandas:get_dummies()与pd.factorize()的用法及区别说明

1.get_dummies()pandas.get_dummies(data,prefix=None,prefix_sep='_',dummy_na=False,columns=None,sparse=False,drop_first=False)：Convertcategoricalvariableintodummy/indicatorvariables>>>importpandasaspd>>>s=pd.Series(list('abca'))>>>pd.get_dummies(s)abc01001010200131002.pd.factorize()pandas.factorize(values,sort=False,order=None,na_sentinel=-1,size_... 继续阅读 >

2021
07-01

pandas 实现将NaN转换为None

在python中，用pandas处理数据非常方便。但是有时候从其他地方读取数据时，会有异常值需要处理。比如，我们要从excel读取数据然后调用接口写入数据库时，读取到的空值是NaN，但是，接口接收的对应单元格数据应该是None，这时候怎么处理呢？当然，用pandas做这个事也是非常容易的。示例如下：原始数据：示例代码：importpandasaspddf=pd.read_excel('data/test_data.xlsx')#将非空数据保留，空数据用None替换df=df.... 继续阅读 >

2021
07-01

Pandas||过滤缺失数据||pd.dropna()函数的用法说明

看代码吧~DataFrame.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)Removemissingvalues.pd.dropna()函数(官方文档)用于过滤数据中的缺失数据.缺失数据在pandas中用NaN标记.importpandasaspdimportnumpyasnpdf=pd.DataFrame(np.random.randn(5,3),index=list('abcde'),columns=['one','two','three'])#随机产生5行3列的数据df.ix[1,:-1]=np.nan#将指定数据定义... 继续阅读 >

2021
07-01

使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())

最近在做数据处理的时候，遇到个让我欲仙欲死的问题，那就是数据中的空值该如何获取。我的目的本来是获取数据中的所有非零且非空值，然后再计算获得到的所有数据计算均值，再用均值把0和空值填上。这个操作让我意识到了iisNone/np.isnan(i)/i.isnull()之间的差别，再此做简单介绍：1.关于np.nan：先明确一个问题，即空值的产生只有np.nan()一种方法。#np.nan()的一些奇妙性质：np.nan==np.nan>>>Falsenp.isnan(np.nan)>>>... 继续阅读 >