分类：Pandas

2020
10-08

用pandas划分数据集实现训练集和测试集

1、使用model_select子模块中的train_test_split函数进行划分数据：使用kaggle上Titanic数据集划分方法：随机划分#导入pandas模块，sklearn中model_select模块importpandasaspdfromsklearn.model_selectimporttrain_test_split#读取数据data=pd.read_csv('.../titanic_dataset/train.csv')#将特征划分到X中，标签划分到Y中x=data.iloc[:,2:]y=data.loc['Survived']#使用train_test_split函数划分数据集(训练... 继续阅读 >

2020
10-08

浅谈pandas dataframe对除数是零的处理

如下例data2[‘营业成本率']=data2[‘营业成本本年累计']/data2[‘营业收入本年累计']*100但有营业收入本年累计为0的情况，则营业成本率为inf,即无穷大，而需要在表中体现为零，用如下方法填充：data2['营业成本率']=data2['营业成本本年累计']/data2['营业收入本年累计']*100data2['营业成本率'].replace([np.inf,-np.inf,"",np.nan],0,inplace=True)当然，要引用到numpy库需要导入库importpandasaspd#导入panadsfr... 继续阅读 >

2020
10-08

python pandas dataframe 去重函数的具体使用

今天笔者想对pandas中的行进行去重操作，找了好久，才找到相关的函数先看一个小例子frompandasimportSeries,DataFramedata=DataFrame({'k':[1,1,2,2]})printdataIsDuplicated=data.duplicated()printIsDuplicatedprinttype(IsDuplicated)data=data.drop_duplicates()printdata执行结果是：  k0 11 12 23 20   False1    True2&nb... 继续阅读 >

2020
10-08

Pandas中DataFrame基本函数整理(小结)

构造函数DataFrame([data,index,columns,dtype,copy])#构造数据框属性和数据DataFrame.axes#index:行标签；columns:列标签DataFrame.as_matrix([columns])#转换为矩阵DataFrame.dtypes#返回数据的类型DataFrame.ftypes#返回每一列的数据类型float64:denseDataFrame.get_dtype_counts()#返回数据框数据类型的个数DataFrame.get_ftype_counts()#返... 继续阅读 >

2020
10-08

pandas to_excel 添加颜色操作

我就废话不多说了，大家还是直接看代码吧~importpandasaspdimportnumpyasnpcolumns=[['A','A','B','B','C'],['a','b','c','d','e']]#创建形状为（10，5）的DataFrame并设置二级标题demo_df=pd.DataFrame(np.arange(50).reshape(10,5),columns=columns)print(demo_df)defstyle_color(df,colors):""":paramdf:pd.DataFrame:paramcolors:字典内容是{标题:颜色}:return:"""returndf... 继续阅读 >

2020
10-08

pandas.DataFrame.drop_duplicates 用法介绍

如下所示：DataFrame.drop_duplicates(subset=None,keep='first',inplace=False)subset考虑重复发生在哪一列，默认考虑所有列，就是在任何一列上出现重复都算作是重复数据keep包含三个参数first,last,False，first是指，保留搜索到的第一个重复数据，之后的都删除；last是指，保留搜索到的最后一个重复数据，之前的搜索到的重复数据都删除，False是指，把所有搜索到的重复数据都删除，一个都不保留，即如果有两行数据重复，把... 继续阅读 >

2020
10-08

对python pandas中 inplace 参数的理解

pandas中inplace参数在很多函数中都会有，它的作用是：是否在原对象基础上进行修改inplace=True：不创建新的对象，直接对原始对象进行修改；​inplace=False：对数据进行修改，创建并返回新的对象承载其修改结果。默认是False，即创建新的对象进行修改，原对象不变，和深复制和浅复制有些类似。例：inplace=True情况：importpandasaspdimportnumpyasnpdf=pd.DataFrame(np.random.randn(4,3),columns=["A","B","C... 继续阅读 >

2020
10-08

pandas之分组groupby()的使用整理与总结

前言在使用pandas的时候，有些场景需要对数据内部进行分组处理，如一组全校学生成绩的数据，我们想通过班级进行分组，或者再对班级分组后的性别进行分组来进行分析，这时通过pandas下的groupby()函数就可以解决。在使用pandas进行数据分析时，groupby()函数将会是一个数据分析辅助的利器。groupby的作用可以参考超好用的pandas之groupby中作者的插图进行直观的理解：准备读入的数据是一段学生信息的数据，下面将以这个数据为... 继续阅读 >

2020
10-08

pandas数据处理之绘图的实现

Pandas是Python中非常常用的数据处理工具，使用起来非常方便。它建立在NumPy数组结构之上，所以它的很多操作通过NumPy或者Pandas自带的扩展模块编写，这些模块用Cython编写并编译到C，并且在C上执行，因此也保证了处理速度。今天我们就来体验一下它的强大之处。1.创建数据使用pandas可以很方便地进行数据创建，现在让我们创建一个5列1000行的pandasDataFrame：mu1,sigma1=0,0.1mu2,sigma2=0.2,0.2n=1000df=pd.DataFra... 继续阅读 >

2020
10-08

Pandas把dataframe或series转换成list的方法

把dataframe转换为list输入多维dataframe：df=pd.DataFrame({'a':[1,3,5,7,4,5,6,4,7,8,9],'b':[3,5,6,2,4,6,7,8,7,8,9]})把a列的元素转换成list：#方法1df['a'].values.tolist()#方法2df['a'].tolist()把a列中不重复的元素转换成list：df['a'].drop_duplicates().values.tolist()输入一维dataframe：df=pd.DataFrame([3,5,6,2,4,6,7,8,7,8,9])转换成list[list]：df.values.tolist()把series转换为listSeries.t... 继续阅读 >

2020
10-08

详解pandas获取Dataframe元素值的几种方法

可以通过遍历的方法：pandas按行按列遍历Dataframe的几种方式：https://www.jb51.net/article/172623.htm选择列使用类字典属性,返回的是Series类型data[‘w']遍历Seriesforindexindata['w'].index:time_dis=data['w'].get(index)pandas.DataFrame.at根据行索引和列名，获取一个元素的值>>>df=pd.DataFrame([[0,2,3],[0,4,1],[10,20,30]],...columns=['A','B','C'])>>>dfABC002310412102030... 继续阅读 >

2020
10-08

Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)

1.单列运算在Pandas中，DataFrame的一列就是一个Series,可以通过map来对一列进行操作：df['col2']=df['col1'].map(lambdax:x**2)其中lambda函数中的x代表当前元素。可以使用另外的函数来代替lambda函数，例如：definesquare(x):return(x**2)df['col2']=df['col1'].map(square)2.多列运算 apply()会将待处理的对象拆分成多个片段，然后对各片段调用传入的函数，最后尝试将各片段组合到一起。要对DataFrame的... 继续阅读 >

2020
10-08

pandas创建DataFrame的7种方法小结

笔者在学习pandas,在学习过程中总结了一下创建dataframe的方法，通过查阅资料总结遗下几种方法，如果你有其他的方法欢迎留言补充。练习代码请点击此处下载学习环境：第一种：用Python中的字典生成第二种：利用指定的列内容、索引以及数据第三种：通过读取文件，可以是json,csv,excel等等。本文例子就用excel,上篇博客笔者已经用csv举例了。这里要注意，如果用excel请先安装xlrd这个包 这个文件笔者放在代码同目录第四种：... 继续阅读 >

2020
10-08

pandas DataFrame运算的实现

1算术运算add(other)比如进行数学运算加上具体的一个数字data['open'].add(1)2018-02-2724.532018-02-2623.802018-02-2323.882018-02-2223.252018-02-1422.49sub(other)2逻辑运算2.1逻辑运算符号例如筛选data[“open”]>23的日期数据data[“open”]>23返回逻辑结果data["open"]>232018-02-27True2018-02-26False2018-02-23False2018-02-22False2018-02-14False#逻辑判断的结果可以作为筛选的依据data[data["o... 继续阅读 >

2020
10-08

python中pandas库中DataFrame对行和列的操作使用方法示例

用pandas中的DataFrame时选取行或列：importnumpyasnpimportpandasaspdfrompandasimportSereis,DataFrameser=Series(np.arange(3.))data=DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz'))data['w']#选择表格中的'w'列，使用类字典属性,返回的是Series类型data.w#选择表格中的'w'列，使用点属性,返回的是Series类型data[['w']]#选择表格中的'w'列，返回的是DataFrame类型data[['w... 继续阅读 >

2020
10-08

Pandas缺失值2种处理方式代码实例

处理方式：存在缺失值nan,并且是np.nan:删除存在缺失值的:dropna(axis='rows')替换缺失值:fillna(df[].mean(),inplace=True)不是缺失值nan，有默认标记的1、存在缺失值nan,并且是np.nan#判断数据是否为NaN#pd.isnull(df),pd.notnull(df),pd.isna(df)#读取数据movie=pd.read_csv("./date/IMDB-Movie-Data.csv")##第一种删除#pandas删除缺失值，使用dropna的前提是，缺失值的类型必须是np.nan#删除缺失值为np.nan的所在行mo... 继续阅读 >