分类：pandas

2021
04-07

Pandas提取单元格的值操作

如提取第1行，第2列的值：df.iloc[[0],[1]]则会返回一个df，即有字段名和行号。如果用values属性取值：df.iloc[[0],[1]].values返回的值会是列表，而且是嵌套列表：[[值]]因此，正确的写法是：df.iloc[[0],[1]].values[0][0]补充：pandas取出符合条件的某单元格的值已经读取excel表中的值，得出DATAFRAME-----data1想取出某些值写入另一个excel表发现用data1[‘任务指标利润总额'][data1[‘企业']==namelist]，给excel表中的单元格... 继续阅读 >
2021
04-07

详细介绍在pandas中创建category类型数据的几种方法

在pandas中创建category类型数据的几种方法之详细攻略 T1、直接创建category类型数据可知，在category类型数据中，每一个元素的值要么是预设好的类型中的某一个，要么是空值（np.nan）。 T2、利用分箱机制(结合max、mean、min实现二分类)动态添加category类型数据输出结果[NaN,'medium','medium','fat']Categories(2,object):['medium','fat']  name   ID age age02&nb... 继续阅读 >
2021
03-30

pandas 颠倒列顺序的两种解决方案

在数据预处理过程中可能需要将列的顺序颠倒，有两种方法。importnumpyasnpimportpandasaspddf=pd.DataFrame(np.array(range(20)).reshape(4,5))print(df)原始dataframe如下：0123400123415678921011121314315161718191.方法一手动设置列名列表，应用在dataframe中（适合列名比较少的情况）我们可以手动来更换列的顺序cols=[4,3,2,1,0]df=df.ix[:,cols]print(df)输出如下：... 继续阅读 >
2021
03-30

pandas调整列的顺序以及添加列的实现

在对excel的操作中，调整列的顺序以及添加一些列也是经常用到的，下面我们用pandas实现这一功能。1、调整列的顺序>>>df=pd.read_excel(r'D:/myExcel/1.xlsx')>>>dfABCD0bob1278871millor159221>>>df.columnsIndex(['A','B','C','D'],dtype='object')#这是最简单常用的一种方法，相当于指定列名让pandas#从df中获取>>>df[['A','D','C','B']]ADCB0bob8778121millor219215#这也是可以的... 继续阅读 >
2021
03-30

pandas快速处理Excel,替换Nan,转字典的操作

pandas读取Excelimportpandasaspd#参数1：文件路径，参数2：sheet名pf=pd.read_excel(path,sheet_name='sheet1')删除指定列#通过列名删除指定列pf.drop(['序号','替代','签名'],axis=1,inplace=True)替换列名#旧列名新列名对照columns_map={'列名1':'newname_1','列名2':'newname_2','列名3':'newname_3','列名4':'newname_4','列名5':'newname_5',#没有列名的情况'Unnamed:10... 继续阅读 >
2021
03-30

pandas读取excel,txt,csv,pkl文件等命令的操作

pandas读取excel,txt,csv,pkl文件等命令的操作 pandas读取txt文件读取txt文件需要确定txt文件是否符合基本的格式，也就是是否存在\t,,,等特殊的分隔符一般txt文件长成这个样子txt文件举例下面的文件为空格间隔12019-03-2200:06:24.4463094中文测试22019-03-2200:06:32.4565680需要编辑encoding32019-03-2200:06:32.6835965ashshsh42017-03-2200:06:32.8041945eggg读取命令采用read_csv或者read_table都可以importpandasaspddf=pd.read_table("./test.txt"... 继续阅读 >
2021
03-30

删除pandas中产生Unnamed:0列的操作

我们在数据处理，往往不小心，pandas会“主动”加上行和列的名称，我现在就遇到了这个问题。这个是pandas中to_csv生成的数据各种拼接之后的最终数据（默认参数，index=True,column=True）Unnamed:0ipUnnamed:0.1...766767class00google.com0...0.3764520.148091011facebook.com1...-0.044634-0.180167022youtube.com2...0.1720280.002102033yahoo.com3...0.286067... 继续阅读 >
2021
03-30

Pandas 实现分组计数且不计重复

Pandas 实现分组计数且不计重复 在对dataframe进行分析的时候会遇到需要分组计数，计数的column中属性有重复，但又需要仅对不重复的项计数（即重复N次出现的项只计1次）。函数如下：dataframe.groupby([‘分组的列名']).需要计数的列名.nunique()举例：数组“data”如下：StoreIDSalesSalesDateChannelA1002018/1/101A902018/1/102A110... 继续阅读 >
2021
03-30

pandas 实现某一列分组,其他列合并成list

pandas 实现某一列分组,其他列合并成list pandas列转换为字典，但将相同第一列（键）的所有值合并为一个键形式一：importpandasaspd#datadata=pd.DataFrame({'column1':['key1','key1','key2','key2'],'column2':['value1','value2','value3','value3']})print(data)#Groupeddictdata_dict=data.groupby('column1').column2.apply(list).to_dict()print(data_dict)输出结果：column1column20key1value11key1value22key2value33key2value3{... 继续阅读 >
2021
03-30

pandas 实现分组后取第N行

pandas 实现分组后取第N行 目的：把question_id对应的user_answer转成ABCDsolutiondfa=df.groupby('question_id').nth(0).reset_index()dfa['flag']='A'dfb=df.groupby('question_id').nth(1).reset_index()dfb['flag']='B'dfc=df.groupby('question_id').nth(2).reset_index()dfc['flag']='C'dfd=df.groupby('question_id').nth(3).reset_index()dfd['flag']='D'resdf=dfa.append([dfb,dfc,dfd])resdf.sort_values(by='question_id')result：focus：g.nth(... 继续阅读 >
2021
03-30

pandas 实现将两列中的较大值组成新的一列

最近一个开发需求中要求用pandas实现该需求：逐行对比两列，选出每行两列中较大的值加到第三列翻了下好像没有类似的函数，所以没办法要自己造轮子，直接上代码和注释#需要对比的值为value_x和value_y#新家的列名为value_final#1.设置一个flag,值为value_y-value_x,为正代表y较大，负代表x较大df_test['value_flag']=df_test['Value_y']-df_test['Value_x']#2.分别取得y较大的部分和x较大的部分df_test_bigger=df_test[df... 继续阅读 >
2021
03-30

pandas分组排序 如何获取第二大的数据

Python用来做数据分析很方便，网上很多关于找数据中第二大的方法，但是大多数都是关于SQL的，于是我挑战一下用Python来做这件事（主要是SQL写的不好>_<）,上代码。1、数据我是自己编的在实际工作中应该从数据库中导入数据，如何从数据库导出数据，我之后会补充。importpandasaspddf=pd.DataFrame([{"class":1,"name":"aa","english":120},{"class":1,"name":"bb","english":110},{"class":1,"name":... 继续阅读 >
2021
03-30

使用pandas忽略行列索引,纵向拼接多个dataframe

从wind上面搞到一批股票数据后发现：本来是一个类型的数据，但是由于季度不同，列名也不同，导致使用pandas合并多个报表的时候总是出现一大堆NaN，所以这里我写了一个函数，专门针对这样的表它的思路是：生成一堆单词，然后把这些表的列索引全部替换为这些单词，然后调用pd.concat()把这些dataframe全部合并后再把列索引改回来，当然，这里也可以手动指定列索引。使用方法见代码的最后一行，传入一个dataframe的list就可以了。im... 继续阅读 >
2021
03-30

Pandas groupby apply agg 的区别 运行自定义函数说明

Pandas groupby apply agg 的区别 运行自定义函数说明 agg方法将一个函数使用在一个数列上，然后返回一个标量的值。也就是说agg每次传入的是一列数据，对其聚合后返回标量。对一列使用三个函数：对不同列使用不同函数apply是一个更一般化的方法：将一个数据分拆-应用-汇总。而apply会将当前分组后的数据一起传入，可以返回多维数据。实例：1、数据如下：lawsuit2[['EID','LAWAMOUNT','LAWDATE']]2、groupby后应用apply传入函数数据如下：lawsuit2[['EID','LAWAMOUNT','LAWDATE']].gro... 继续阅读 >