分类：dataframe

2021
09-30

R语言的Dataframe常用操作使用

上节我们简单介绍了Dataframe的定义，这节我们具体来看一下Dataframe的操作首先，数据框的创建函数为data.frame()，参考R语言的帮助文档，我们来了解一下data.frame()的具体用法：Usagedata.frame(...,row.names=NULL,check.rows=FALSE,check.names=TRUE,fix.empty.names=TRUE,stringsAsFactors=default.stringsAsFactors())default.stringsAsFactors()Arguments...:theseargumentsareo... 继续阅读 >

2021
09-04

Pandas实现Dataframe的合并

目录简介使用concat使用append使用merge使用join覆盖数据简介Pandas提供了很多合并Series和Dataframe的强大的功能，通过这些功能可以方便的进行数据分析。本文将会详细讲解如何使用Pandas来合并Series和Dataframe。使用concatconcat是最常用的合并DF的方法，先看下concat的定义：pd.concat(objs,axis=0,join='outer',ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,copy=True)看一... 继续阅读 >

2021
07-17

pandas中DataFrame检测重复值的实现

本文详解如何使用pandas查看dataframe的重复数据，判断是否重复，以及如何去重DataFrame.duplicated(subset=None,keep='first')subset：如果你认为几个字段重复，则数据重复，就把那几个字段以列表形式放到subset后面。默认是所有字段重复为重复数据。keep:默认为'first',也就是如果有重复数据，则第一条出现的定义为False，后面的重复数据为True。如果为'last'，也就是如果有重复数据，则最后一条出现的定义为False，后... 继续阅读 >

2021
07-04

浅谈dataframe两列相乘构造新特征

假如我们要构建新特征b目的是从a中筛选出数值在4~6之间的数据，如果符合就是True，否则就是False。那么代码如下importpandasaspdlists=pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9]})lists['b']=(lists['a']<6).mul(lists['a']>4)补充：dataframe求两列的相乘，再将输出为新的一列看代码吧~df["new"]=df3["rate"]*df3["duration"]new为新的一列的列名rate和duration为需要相乘的列加，减，乘，除都适用！补充：DataFrame衍生新特征操... 继续阅读 >

2021
04-07

十分钟轻松掌握dataframe数据选择

数据初始化importpandasaspdimportnumpyasnpa=np.array([['北京','北方','一线','非沿海'],['杭州','南方','二线','非沿海'],['深圳','南方','一线','沿海'],['烟台','北方','三线','沿海']])df=pd.DataFrame(a,index=['一','二','三','四'],columns=['城市','地理','级别','是否沿海'])城市 地理 级别 是否沿海一 北京 北方 一线 非沿海二 杭州 南方 二线 非沿海三... 继续阅读 >

2021
03-30

使用pandas忽略行列索引,纵向拼接多个dataframe

从wind上面搞到一批股票数据后发现：本来是一个类型的数据，但是由于季度不同，列名也不同，导致使用pandas合并多个报表的时候总是出现一大堆NaN，所以这里我写了一个函数，专门针对这样的表它的思路是：生成一堆单词，然后把这些表的列索引全部替换为这些单词，然后调用pd.concat()把这些dataframe全部合并后再把列索引改回来，当然，这里也可以手动指定列索引。使用方法见代码的最后一行，传入一个dataframe的list就可以了。im... 继续阅读 >

2021
02-20

python中Array和DataFrame相互转换的实例讲解

python中，对于array数组中的数据放在DataFrame数据框中可以更好的进行数据分析，但是二者并不是一个数据类型，因此需要将array转dataframe。既然可以array转dataframe，那么可同样dataframe也可以转回array结构。本文介绍python中Array和DataFrame相互转换的方法。1、array转dataframe：直接用pd.dataframe()进行转化使用格式a=pd.DataFrame(a)具体实例importpandasaspddf=pd.DataFrame(df)2、dataframe转化为array使用格... 继续阅读 >

2020
12-14

Pandas中DataFrame交换列顺序的方法实现

一、获取DataFrame列标签importpandasaspdfile_path='/Users/Arithmetic/da-rnn-master/data/collectd67_power_after_test_smooth.csv'dataset=pd.read_csv(file_path)cols=list(dataset)['ps_state-stopped','ps_state-running','ps_state-blocked','ps_state-paging','ps_state-sleeping','ps_state-zombies','fork_rate','cpu-2-system','cpu-2-nice','cpu-2-steal',...]二、改变列标签为指定顺序importpa... 继续阅读 >

2020
10-08

浅谈pandas dataframe对除数是零的处理

如下例data2[‘营业成本率']=data2[‘营业成本本年累计']/data2[‘营业收入本年累计']*100但有营业收入本年累计为0的情况，则营业成本率为inf,即无穷大，而需要在表中体现为零，用如下方法填充：data2['营业成本率']=data2['营业成本本年累计']/data2['营业收入本年累计']*100data2['营业成本率'].replace([np.inf,-np.inf,"",np.nan],0,inplace=True)当然，要引用到numpy库需要导入库importpandasaspd#导入panadsfr... 继续阅读 >

2020
10-08

Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)

摘要在进行数据分析时，我们经常需要对DataFrame去重，但有时候也会需要只保留重复值。这里就简单的介绍一下对于DataFrame去重和取重复值的操作。创建DataFrame这里首先创建一个包含一行重复值的DataFrame。2.DataFrame去重，可以选择是否保留重复值，默认是保留重复值，想要不保留重复值的话直接设置参数keep为False即可。3.取DataFrame重复值。大多时候我们都是需要将数据去重，但是有时候很我们也需要取重复数据，这个时候我们... 继续阅读 >

2020
10-08

python pandas dataframe 去重函数的具体使用

今天笔者想对pandas中的行进行去重操作，找了好久，才找到相关的函数先看一个小例子frompandasimportSeries,DataFramedata=DataFrame({'k':[1,1,2,2]})printdataIsDuplicated=data.duplicated()printIsDuplicatedprinttype(IsDuplicated)data=data.drop_duplicates()printdata执行结果是：  k0 11 12 23 20   False1    True2&nb... 继续阅读 >

2020
10-08

Pandas中DataFrame基本函数整理(小结)

构造函数DataFrame([data,index,columns,dtype,copy])#构造数据框属性和数据DataFrame.axes#index:行标签；columns:列标签DataFrame.as_matrix([columns])#转换为矩阵DataFrame.dtypes#返回数据的类型DataFrame.ftypes#返回每一列的数据类型float64:denseDataFrame.get_dtype_counts()#返回数据框数据类型的个数DataFrame.get_ftype_counts()#返... 继续阅读 >

2020
10-08

获取python运行输出的数据并解析存为dataFrame实例

在学习xg的时候，想画学习曲线，但无奈没有没有这个evals_result_AttributeError:'Booster'objecthasnoattribute'evals_result_'因为不是用的分类器或者回归器，而且是使用的train而不是fit进行训练的，看过源码fit才有evals_result_这个，导致训练后没有这个，但是又想获取学习曲线，因此肯定还需要获取训练数据。运行的结果上面有数据，于是就想自己解析屏幕的数据试一下，屏幕可以看到有我们迭代过程的数据，因此想直... 继续阅读 >

2020
10-08

pandas.DataFrame.drop_duplicates 用法介绍

如下所示：DataFrame.drop_duplicates(subset=None,keep='first',inplace=False)subset考虑重复发生在哪一列，默认考虑所有列，就是在任何一列上出现重复都算作是重复数据keep包含三个参数first,last,False，first是指，保留搜索到的第一个重复数据，之后的都删除；last是指，保留搜索到的最后一个重复数据，之前的搜索到的重复数据都删除，False是指，把所有搜索到的重复数据都删除，一个都不保留，即如果有两行数据重复，把... 继续阅读 >

2020
10-08

DataFrame.groupby()所见的各种用法详解

groupby的函数定义：DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,**kwargs)by:接收映射、函数、标签或标签列表；用于确定聚合的组。axis:接收0/1；用于表示沿行(0)或列(1)分割。level:接收int、级别名称或序列，默认为None；如果轴是一个多索引(层次化)，则按一个或多个特定级别分组。as_index：接收布尔值，默认Ture；Ture则返回以组标签为索引的... 继续阅读 >

2020
10-08

详解pandas获取Dataframe元素值的几种方法

可以通过遍历的方法：pandas按行按列遍历Dataframe的几种方式：https://www.jb51.net/article/172623.htm选择列使用类字典属性,返回的是Series类型data[‘w']遍历Seriesforindexindata['w'].index:time_dis=data['w'].get(index)pandas.DataFrame.at根据行索引和列名，获取一个元素的值>>>df=pd.DataFrame([[0,2,3],[0,4,1],[10,20,30]],...columns=['A','B','C'])>>>dfABC002310412102030... 继续阅读 >