分类：pandas

2021
03-30

pandas groupby分组对象的组内排序解决方案

问题：根据数据某列进行分组，选择其中另一列大小top-K的的所在行数据解析：求解思路很清晰，即先用groupby对数据进行分组，然后再根据分组后的某一列进行排序，选择排序结果后的top-K结果案例：取一下dataframe中B列各对象中C值最高所在的行df=pd.DataFrame({"A":[2,3,5,4],"B":['a','b','b','a'],"C":[200801,200902,200704,201003]})Groupby的基本功能介绍groupby以后返回DataFrameGroupBy对象，实际上还没有进... 继续阅读 >
2021
03-30

pandas组内排序,并在每个分组内按序打上序号的操作

pandas组内排序,并在每个分组内按序打上序号的操作 问题：pandas组内排序，并在每个分组内按序打上序号描述：pandasdataframe对dep_id组内的salary排序。希望给下面原本只有前三列的dataframe，添加上第四列。等价于sql里的排序函数row_number()over()功能假设我已经建好了仅有前三列的dataframe，数据集命名为MyData，解决方案如下：MyData['sort_id']=MyData['salary'].groupby(MyData['dep_id']).rank()结果如下：补充：Pandas.DataFrame实现分组、排序并且为分组插入排... 继续阅读 >
2021
03-30

Pandas剔除混合数据中非数字的数据操作

Pandas剔除混合数据中非数字的数据操作 我们日常拿到的数据，指标字段有时会混入非数字的数据，这时候会影响我们的操作nameheightHang180Ben145ChonotknowXIn189比如read_csv读入时，该列会以object形式读入，也不能直接进行计算，不然会出现如unsupportedoperandtype(s)for+:'float'and'str'的错误这时候就需要进行数据预处理，清除掉指标值中非数字... 继续阅读 >
2021
03-30

pandas || df.dropna() 缺失值删除操作

df.dropna()函数用于删除dataframe数据中的缺失数据，即删除NaN数据.官方函数说明：DataFrame.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)Removemissingvalues.SeetheUserGuideformoreonwhichvaluesareconsideredmissing,andhowtoworkwithmissingdata.ReturnsDataFrameDataFramewithNAentriesdroppedfromit.参数说明：Parameters说明... 继续阅读 >
2021
03-19

pandas的Series类型与基本操作详解

pandas的Series类型与基本操作详解 1Series线性的数据结构,series是一个一维数组Pandas会默然用0到n-1来作为series的index,但也可以自己指定index(可以把index理解为dict里面的key)1.1创造一个serise数据importpandasaspdimportnumpyasnp​s=pd.Series([9,'zheng','beijing',128])​print(s)打印091zheng2beijing3128dtype:object访问其中某个数据print(s[1:2])​#打印1zhengdtype:objectSeries类型的基本操作：Series类型... 继续阅读 >
2021
03-19

pandas数据处理之 标签列字符转数字的实现

pandas数据处理之 标签列字符转数字的实现 机器学习中，当我们在进行数据预处理的时候，对于标签列非字符的数据，我们往往需要将其转换成字符，因为有的算法可能不支持非数字类型来做特征。那么怎么快捷地来着这个转换呢，请看我的示例：1.构建测试数据importpandasaspdarray=['good','bad','well','bad','good','good','well','good']2.数据转换下，并获取标签列的字典df=pd.DataFrame(array,columns=['status'])status_dict=df['status'].unique().tolist()3.使... 继续阅读 >
2021
03-19

pandas 使用insert插入一列

pandas 使用insert插入一列 把value插入dataframe的指定位置loc中，若插入的数据value已在DataFrame中，则返回错误ValueError，如想完成重复值的插入需要把allow_duplicates设置为Trueinsert方法详解DataFrame.insert(loc,column,value,allow_duplicates=False)参数：RaisesaValueErrorifcolumnisalreadycontainedintheDataFrame,unlessallow_duplicatesissettoTrue.Parameters：loc：参数column插入的位置，如果想插入到第一例则为0，... 继续阅读 >
2021
03-19

浅谈pandas中对nan空值的判断和陷阱

pandas基于numpy，所以其中的空值nan和numpy.nan是等价的。numpy中的nan并不是空对象，其实际上是numpy.float64对象，所以我们不能误认为其是空对象，从而用bool(np.nan)去判断是否为空值，这是不对的。对于pandas中的空值，我们该如何判断，并且有哪些我们容易掉进去的陷阱，即不能用怎么样的方式去判断呢？可以判断pandas中单个空值对象的方式：1、利用pd.isnull(),pd.isna();2、利用np.isnan();3、利用is表达式；4、利用in表达... 继续阅读 >
2021
03-19

pandas 添加空列并赋空值案例

pandas 添加空列并赋空值案例 创建测试dataframe：>>>importpandasaspd>>>df=pd.DataFrame([{'a':1,'b':2},{'a':3,'b':4}])>>>dfab012134添加两个空列>>>df[['c','d']]=df.apply(lambdax:('',''),axis=1,result_type='expand')>>>dfabcd012134当然，一列一列添加也是可以的>>>df['c']=''>>>df['d']=''但如果这样>>>df[['c','d']]=''KeyError:"Noneof[Index(['c','d'],dtype='object')]areinthe[columns]"补... 继续阅读 >
2021
03-12

python 使用pandas同时对多列进行赋值

如dataframedata1['月份']=int(month)#加入月份和企业名称data1['企业']=parmentname可以增加单列，并赋值，如果想同时对多列进行赋值data1['月份','企业']=int(month),parmentname#加入月份和企业名称会出错ValueError:Lengthofvaluesdoesnotmatchlengthofindexdata[['合计','平均']]='数据','月份'类似这样的，也无效KeyError:“Noneof[Index([‘合计',‘平均'],dtype=‘object')]areinthe[columns]”... 继续阅读 >
2021
03-12

如何用pandas处理hdf5文件

什么是HDF5HDF5：HierarchicalDataFormatVersion5，对于存储大规模、具有相同类型的数据，HDF5是一种非常不错的存储格式，文件后缀名为h5。这种格式的文件的存储和读取速度非常快，并且我们可以把HDF5文件看成是一个"目录"，它是分层次的，我们来看看如何操作。创建和读取HDF5文件importpandasaspdimportnumpyasnphdf5=pd.HDFStore("hello.h5",mode="w",complevel=9)"""path:文件路径mode:和python的open函数中的m... 继续阅读 >
2021
03-09

Pandas.DataFrame转置的实现 原创

简述Motivationsometimes，换一种获取数据的方式，可以提高数据获取的速度。sometimes，由于预计爬取的数据长度不确定，只能这么先存储起来。sometimes，有个给你的数据就是这样，但是没办法很方便的使用…这些情况下，你可能就会需要遇到DataFrame行列转置的方法。Contribution提供了Pandas.DataFrame的行列转置的方法实验部分导入包>>>importpandasaspd创建数据>>>df=pd.DataFrame([['A',1,2],['B',3,4]],c... 继续阅读 >
2021
03-09

python之 matplotlib和pandas绘图教程

python之 matplotlib和pandas绘图教程 不得不说使用python库matplotlib绘图确实比较丑，但使用起来还算是比较方便，做自己的小小研究可以使用。这里记录一些统计作图方法，包括pandas作图和plt作图。前提是先导入第三方库吧importpandasaspdimportmatplotlib.pyplotaspltimportnumpyasnp然后以下这两句用于正常显示中文标签什么的。plt.rcParams['font.sans-serif']=['SimHei']#用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False#用来正... 继续阅读 >
2021
03-07

pandas之query方法和sample随机抽样操作

query方法在pandas中，支持把字符串形式的查询表达式传入query方法来查询数据，其表达式的执行结果必须返回布尔列表。在进行复杂索引时，由于这种检索方式无需像普通方法一样重复使用DataFrame的名字来引用列名，一般而言会使代码长度在不降低可读性的前提下有所减少。例如In[61]:df.query('((School=="FudanUniversity")&'....:'(Grade=="Senior")&'....:'(Weight>70))|'....:'((School==... 继续阅读 >
2021
03-05

Pandas 如何筛选包含特定字符的列

问题提出：比如有一个三百多列的数据集，想要快速找到包含xxx的列，这里有三种方法if判断+列表解析式[xforxindf.columnsif'xxx'inx]str.contain()+列表解析式[xforxindf.columns[df.columns.str.contain('xxx')]]filter函数df.filter(like='xxx').columns关于filter，这里可以多说一句，除了like匹配之外，还支持正则表达式匹配，参数为regex。官方api上给出了filter更详细的用法，除了过滤列名外，还可以在行、列上进... 继续阅读 >