分类：Pandas

2021
01-22

详解pandas映射与数据转换

在pandas中提供了利用映射关系来实现某些操作的函数，具体如下：replace()函数：替换元素；map()函数：新建一列；rename()函数：替换索引。一、replace() 用映射替换元素在数据处理时，经常会遇到需要将数据结构中原来的元素根据实际需求替换成新元素的情况。要想用新元素替换原来元素，就需要定义一组映射关系。在映射关系中，将旧元素作为键，新元素作为值。例如，创建字典fruits用于指明水果标识和水果名称... 继续阅读 >

2021
01-22

浅析pandas随机排列与随机抽样

随机排列利用numpy.random.permutation()函数，可以返回一个序列的随机排列。将此随机排列作为take()函数的参数，通过应用take()函数就可实现按此随机排列来调整Series对象或DataFrame对象各行的顺序。其示例代码example1.py如下：importnumpyasnpimportpandasaspd#创建DataFramedf=pd.DataFrame(np.arange(12).reshape(4,3))print(df)012001213452678391011#创建随机排列order=np.random.pe... 继续阅读 >

2021
01-21

Pandas直接读取sql脚本的方法

之前有群友反应同事给了他一个几百MB的sql脚本，导入数据库再从数据库读取数据有点慢，想了解下有没有可以直接读取sql脚本到pandas的方法。解析sql脚本文本文件替换成csv格式并加载我考虑了一下sql脚本也就只是一个文本文件而已，而且只有几百MB，现代的机器足以把它一次性全部加载到内存中，使用python来处理也不会太慢。我简单研究了一下sql脚本的导出格式，并根据格式写出了以下sql脚本的读取方法。注意：该读取方法只针对SQLyo... 继续阅读 >

2021
01-17

Pandas的数据过滤实现

作者|AmandaIglesiasMoreno编译|VK来源|TowardsDatasScience从数据帧中过滤数据是清理数据时最常见的操作之一。Pandas提供了一系列根据行和列的位置和标签选择数据的方法。此外，Pandas还允许你根据列类型获取数据子集，并使用布尔索引筛选行。在本文中，我们将介绍从Pandas数据框中选择数据子集的最常见操作：按标签选择单列按标签选择多列按数据类型选择列按标签选择一行按标签选择多行按位置选择一行按位置... 继续阅读 >

2021
01-17

pandas针对excel处理的实现

本文主要介绍了pandas针对excel处理的实现，分享给大家，具体如下：读取文件importpadasdf=pd.read_csv("")#读取文件pd.read_clipboard()#读取粘贴板的内容#解决数据显示不完全的问题pd.set_option('display.max_columns',None)pd.set_option('display.max_rows',None)#获取指定单元格的值datefirst=config.iloc[0,1]datename=config.iloc[0,2]#新建一列two,筛选料号一列的前俩个sheet["two"]=sheet["料号"].apply(... 继续阅读 >

2021
01-08

Pandas之缺失数据的实现

前言本章介绍pandas中的缺失数据，主要内容有：pandas中对np.nan的操作：统计、删除、填充、插值 pandas中的Nullable类型及相关操作在无特殊说明时，本章主要采用的df数据如下，不再重复说明：df=pd.read_csv('./data/learn_pandas.csv',usecols=['Grade','Name','Gender','Height','Weight','Transfer'])df一、缺失值的统计和删除1.缺失值的统计我们可以使用isna()和isnull()方法来统计数据中的np.nan数据：df.... 继续阅读 >

2020
12-29

pandas 数据类型转换的实现

数据处理过程的数据类型当利用pandas进行数据处理的时候，经常会遇到数据类型的问题，当拿到数据的时候，首先需要确定拿到的是正确类型的数据，一般通过数据类型的转化，这篇文章就介绍pandas里面的数据类型（datatypes也就是常用的dtyps），以及pandas与numpy之间的数据对应关系。主要介绍object，int64，float64，datetime64，bool等几种类型，category与timedelta两种类型会单独的在其他文章中进行介绍。当然本文中也会涉及简... 继续阅读 >

2020
12-22

python 用pandas实现数据透视表功能

透视表是一种可以对数据动态排布并且分类汇总的表格格式。对于熟练使用excel的伙伴来说，一定很是亲切！pd.pivot_table()语法：pivot_table(data,#DataFramevalues=None,#值index=None,#分类汇总依据columns=None,#列aggfunc='mean',#聚合函数fill_value=None,#对缺失值的填充margins=False,#是否启用总计行/列dropna=True,#删除缺失margins_name='Al... 继续阅读 >

2020
12-14

Pandas中DataFrame交换列顺序的方法实现

一、获取DataFrame列标签importpandasaspdfile_path='/Users/Arithmetic/da-rnn-master/data/collectd67_power_after_test_smooth.csv'dataset=pd.read_csv(file_path)cols=list(dataset)['ps_state-stopped','ps_state-running','ps_state-blocked','ps_state-paging','ps_state-sleeping','ps_state-zombies','fork_rate','cpu-2-system','cpu-2-nice','cpu-2-steal',...]二、改变列标签为指定顺序importpa... 继续阅读 >

2020
12-14

Python Pandas list列表数据列拆分成多行的方法实现

1、实现的效果示例代码：df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})dfOut[458]:AB01[1,2]12[1,2]拆分成多行的效果：  A B0 1 11 1 23 2 14 2 22、拆分成多行的方法1）通过apply和pd.Series实现容易理解，但在性能方面不推荐。df.set_index('A').B.apply(pd.Series).stack().reset_index(level=0).rename(columns={0:'B'})Out[463]:AB01... 继续阅读 >

2020
12-14

pandas将list数据拆分成行或列的实现

数据importnumpyasnpimportpandasaspddata=[{'Name':'小明','Chinese':[70,80],'Math':[90,80]},{'Name':'小红','Chinese':[70,80,90],'Math':[90,80,70]}]data=pd.DataFrame(data)data拆分成行defsplit_row(data,column):'''拆分成行:paramdata:原始数据:paramcolumn:拆分的列名:typedata:pandas.core.frame.DataFrame:typecolumn:str'''row_len=list(map(len,data[col... 继续阅读 >

2020
12-14

pandas按照列的值排序(某一列或者多列)

按照某一列排序d={'A':[3,6,6,7,9],'B':[2,5,8,0,0]}df=pd.DataFrame(data=d)print('排序前:\n',df)'''排序前:AB032165268370490'''res=df.sort_values(by='A',ascending=False)print('按照A列的值排序:\n',res)'''按照A列的值排序:AB490370165268032'''按照多列排序d={'A':[3,6,6,7,9],'B':[2,5,8,0,0]}df=pd.DataFrame(data=d)print('排序前:\n',df)'''排序前:AB... 继续阅读 >

2020
12-14

Pandas中两个dataframe的交集和差集的示例代码

创建测试数据：importpandasaspdimportnumpyasnp#CreateaDataFramedf1={'Subject':['semester1','semester2','semester3','semester4','semester1','semester2','semester3'],'Score':[62,47,55,74,31,77,85]}df2={'Subject':['semester1','semester2','semester3','semester4'],'Score':[90,47,85,74]}df1=pd.DataFrame(df1,columns=['Subject','Score'])df2=pd.DataFrame(df2,columns=['Sub... 继续阅读 >

2020
12-14

使用pandas实现筛选出指定列值所对应的行

在pandas中怎么样实现类似mysql查找语句的功能：select*fromtablewherecolumn_name=some_value;pandas中获取数据的有以下几种方法：布尔索引位置索引标签索引使用API假设数据如下:importpandasaspdimportnumpyasnpdf=pd.DataFrame({'A':'foobarfoobarfoobarfoofoo'.split(),'B':'oneonetwothreetwotwoonethree'.split(),'C':np.arange(8),'D':np.arange(8)*2})布... 继续阅读 >

2020
12-14

Pandas DataFrame求差集的示例代码

在Pandas中求差集没有专门的函数。处理办法就是将两个DataFrame追加合并，然后去重。divident.append(hasThisYearDivident)noHasThisYearDivident=divident.drop_duplicates(subset='ts_code',keep=False,inplace=True,ignore_index=True)具体函数用法：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.append.html#pandas.DataFrame.appendhttps://pandas.pydata.org/pandas-docs/stable/ref... 继续阅读 >

2020
12-14

pandas实现导出数据的四种方式

本文主要介绍了pandas导出数据到文件的四种方式，分享给大家，主要也是给自己留个笔记，具体如下：importpandasaspdimportpymysqldf=pd.DataFrame({'A':[3,4,8,9],'B':[1.2,2.4,4.5,7.3],'C':["aa","bb","cc","dd"]})defexport_data_to_csv():#参数encoding="utf_8_sig"编码后，可以防止写入csv的中文出现乱码df.to_csv("./test.csv",encoding="utf_8_sig")defexport_data_to_excel():#encodi... 继续阅读 >