分类：Pandas

2021
07-01

pandas中NaN缺失值的处理方法

本文主要介绍了pandas中NaN缺失值的处理方法，主要有两种方法，具体如下：importpandasaspd缺失值处理两种方法:删除含有缺失值的样本替换/插补处理缺失值为NaN先判断数据中是否存在NaN,通过下面两个方法中任意一个pd.isnull(dataframe)#dataframe为数据如果数据中存在NaN返回True,如果没有就返回Falsepd.notnull(dataframe)该方法与isnull相反any()和all()"""pd.isnull(dataframe).any()判断哪一个字段中存在缺失值... 继续阅读 >

2021
06-29

教你使用Pandas直接核算Excel中的快递费用

目录一、确定核算规则二、根据核算规则编写代码，生成核算列三、输入账单，进行核算。一、确定核算规则二、根据核算规则编写代码，生成核算列#-*-coding:utf-8-*-importpandasaspdfrommathimportceilimportosdefaccount(adress,weight):ifadress=="湖南":ifweight<=3:totel=2.5elif(weight>=3)and(weight<=5):totel=3.5+ceil((weight-3))*1... 继续阅读 >

2021
06-23

Python机器学习三大件之二pandas

一、Pandas2008年WesMcKinney开发出的库专门用于数据挖掘的开源python库以Numpy为基础，借力Numpy模块在计算方面性能高的优势基于matplotlib，能够简便的画图独特的数据结构二、数据结构Pandas中一共有三种数据结构，分别为：Series、DataFrame和MultiIndex。三、SeriesSeries是一个类似于一维数组的数据结构，它能够保存任何类型的数据，比如整数、字符串、浮点数等，主要由一组数据和与之相关的索引两部分构成。Series的... 继续阅读 >

2021
06-23

Python Pandas知识点之缺失值处理详解

前言数据处理过程中，经常会遇到数据有缺失值的情况，本文介绍如何用Pandas处理数据中的缺失值。一、什么是缺失值对数据而言，缺失值分为两种，一种是Pandas中的空值，另一种是自定义的缺失值。1.Pandas中的空值有三个：np.nan(NotaNumber)、 None和pd.NaT(时间格式的空值，注意大小写不能错)，这三个值可以用Pandas中的函数isnull()，notnull()，isna()进行判断。isnull()和notnull()的结果互为取反，isnull()和isna(... 继续阅读 >

2021
06-13

python学习之panda数据分析核心支持库

前言Python是一门实现数据可视化很好的语言，他们里面的很多库可以很好的画出图形，形象明了。今天我们就来说说:Pandas数据分析核心支持库初识Pandas：Pandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas名字衍生自术语“paneldata”（面板数据）和“Pythondataanalysis”（Python数据分析）。Pandas一个强大的分析结构化... 继续阅读 >

2021
05-28

Python基础之pandas数据合并

一、concatconcat函数是在pandas底下的方法，可以将数据根据不同的轴作简单的融合pd.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False)axis：需要合并链接的轴，0是行，1是列join：连接的方式inner，或者outer二、相同字段的表首尾相接#现将表构成list，然后在作为concat的输入In[4]:frames=[df1,df2,df3]In[5]:result=pd... 继续阅读 >

2021
05-23

python-pandas创建Series数据类型的操作

1.什么是pandas2.查看pandas版本信息print(pd.__version__)输出：0.24.13.常见数据类型常见的数据类型:-一维:Series-二维:DataFrame-三维:Panel…-四维:Panel4D…-N维:PanelND…4.pandas创建Series数据类型对象1).通过列表创建Series对象array=["粉条","粉丝","粉带"]#如果不指定索引，默认从0开始;s1=pd.Series(data=array)print(s1)#如果不指定索引，默认从0开始;ss1=pd.Series(data=array,index=['A... 继续阅读 >

2021
05-02

python基于Pandas读写MySQL数据库

要实现pandas对mysql的读写需要三个库pandassqlalchemypymysql可能有的同学会问，单独用pymysql或sqlalchemy来读写数据库不香么，为什么要同时用三个库？主要是使用场景不同，个人觉得就大数据处理而言，用pandas读写数据库更加便捷。 1、read_sql_query读取mysqlread_sql_query或read_sql方法传入参数均为sql语句，读取数据库后，返回内容是dateframe对象。普及一下：dateframe其实也是... 继续阅读 >

2021
04-27

pandas读取excel时获取读取进度的实现

写在前面QQ群里偶然看到群友问这个问题,pandas读取大文件时怎么才能获取进度?我第一反应是:除非pandas的read_excel等函数提供了回调函数的接口,否则应该没办法做到.搜索了一下官方文档和网上的帖子,果然是没有现成的方案,只能自己动手.准备工作确定方案一开始我就确认了实现方案,那就是增加回调函数.这里现学现卖科普一下什么是回调函数.简单的说就是:所使用的模块里面,会调用一个你给定的外部方法/函数,就是回调... 继续阅读 >

2021
04-07

pandas DataFrame 赋值的注意事项说明(index)

一pandasDataFrame一列赋值问题说明，把b的列赋值给a情况1：a,bindex设置相同如下代码importpandasaspdimportnumpyasnpa=pd.DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz'))b=pd.DataFrame(np.array([11,22,33,44]),index=list('abcd'),columns=['m'])a['m']=b['m']print(a)上述代码结果如下wxyzma012311b456722c89101133d1213141544情况... 继续阅读 >

2021
04-07

pandas中.loc和.iloc以及.at和.iat的区别说明

显示索引和隐式索引importpandasaspddf=pd.DataFrame({'姓名':['张三','李四','王五'],'成绩':[85,59,76]})传入冒号‘:'，表示所有行或者列显示索引：.loc,第一个参数为index切片，第二个为columns列名df.loc[2]#index为2的记录,这里是王五的成绩。df.loc[:,'姓名']#第一个参数为冒号，表示所有行，这里是筛选姓名这列记录。隐式索引：.iloc（integer_location），只能传入整数。df.iloc[:2,:]#张三和李四的成绩,跟列表... 继续阅读 >

2021
04-07

浅谈Pandas dataframe数据处理方法的速度比较

数据修改主要以增删改差为主，这里比较几种写法在数据处理时间上的巨大差别。数据量大概是500万行级别的数据，文件大小为100M。1.ilociloc是一种速度极其慢的写法。这里我们对每个csv文件中的每一行循环再用iloc处理，示例代码如下：forindexinrange(len(df)):df.iloc['attr'][index]=xxx使用这种方法对五百万行的数据进行处理大概需要5个小时，实在是很慢。2.atat相比于iloc有了很大的性能提升，也是for循环处理，示例代... 继续阅读 >

2021
04-07

Pandas 连接合并函数merge()详解

一、merge函数用途pandas中的merge()函数类似于SQL中join的用法，可以将不同数据集依照某些字段（属性）进行合并操作，得到一个新的数据集。二、merge()函数的具体参数用法：DataFrame1.merge(DataFrame2,how=‘inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suffixes=('_x',‘_y'))参数说明参数说明how默认为inner，可设为inner... 继续阅读 >

2021
04-07

解决使用pandas聚类时的小坑

问题背景：之前运行测试好好的程序，忽然出现了报错，还是merge时候的类型错误，这个bug有点蹊跷。问题分析：代码：进行聚类之后计算平均值与方差tmp_df=df[['object1','float']].groupby(['object1']).head(20).groupby(['object1'])['float'].agg(['mean','sum']).reset_index()这个输出的就是原本的数据类型：一个object，一个float64tmp_df=http_df[['object1','object2','float']].groupby(['object1','object2']).h... 继续阅读 >

2021
04-07

pandas merge报错的解决方案

pandas做merge的时候报这个错：df22=pd.merge(df1,df2,left_on='company_name',right_on='name',how='left')Processfinishedwithexitcode137查了一下原因是：两个表太大了，可能导致内存不够。补充：Pandas：merge函数使用注意事项（pandas的merge函数造成大量错误的空值）相信使用过Pandas的merge函数的人都知道，merge具有连接的功能，左连接更是在数据处理中最常用的连接方式。在使用merge过程中，经常会出现这种情... 继续阅读 >

2021
04-07

pandas 使用merge实现百倍加速的操作

对于非连续数据集，数据可视化时候需要每七天一个采样点。要求是选择此前最新的数据作为当日的数据展示，譬如今天是2019-06-18，而数据集里只有2019-06-15，那就用2019-06-15的数据作为2019-06-18的数据去描点。每七天一个采样点，会使得每天展示所选的数据都会有所不同。当时间往后推移一天，日期为2019-06-19，那么最新数据点从2019-06-19开始，第二个就是2019-06-12。这里就需要一个算法来快速的根据当前日期去选出（填充）一系... 继续阅读 >