分类：Pandas

2020
10-06

pandas分批读取大数据集教程

如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。下图是2015年kaggle上一个CTR预估比赛的数据集：看到train了吧，原始数据集6个G，特征工程后得多大？那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功... 继续阅读 >

2020
10-06

Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

1.目标通过hadoophive或spark等数据计算框架完成数据清洗后的数据在HDFS上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2.实现安装Python模块pyhdfs版本:Python3.6,hadoop2.9读文件代码如下frompyhdfsimportHdfsClientclient=HdfsClient(hosts='ghym:50070')#hdfs地址res=client.open('/sy.txt')#hdfs文件路径,根目录/forrinres:line=str(r,encoding='utf8'... 继续阅读 >

2020
10-06

pandas 像SQL一样使用WHERE IN查询条件说明

innewDropList=[9,10,11,12,22,50,51,60,61]newDB=newDB[newDB['groupId'].isin(newDropList)]直接查询表中groupId列,值为newDropList的记录notinnewDropList=[9,10,11,12,22,50,51,60,61]newDB=newDB[-newDB['groupId'].isin(newDropList)]直接加一个"-"号即可补充知识：pandas条件组合筛选和按范围筛选1、从记录中选出所有fault_code列的值在fault_list=[487,479,500,505]这个范围内的记录record2=record[record... 继续阅读 >

2020
10-05

Python基于pandas绘制散点图矩阵代码实例

1、示例1代码importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt#生成数据v1=np.random.normal(0,1,100)v2=np.random.randint(0,23,100)v3=v1*v2#3*100的数据框df=pd.DataFrame([v1,v2,v3]).T#绘制散点图矩阵pd.plotting.scatter_matrix(df)plt.show()图形2、示例2代码importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt#生成数据v1=np.random.normal(0,1,... 继续阅读 >

2020
10-01

Pandas读取csv时如何设置列名

1.csv文件自带列标题importpandasaspddf_example=pd.read_csv('Pandas_example_read.csv')#等同于：df_example=pd.read_csv('Pandas_example_read.csv',header=0)2.csv文件有列标题，但是想自己换成别的列标题2.1和2.2效果都是一样的，读取文件，并且改列名2.1在读数之后自定义标题df_example=pd.read_csv('Pandas_example_read.csv')df_example.columns=['A','B','C']2.2在读数的同时自定义标题df_example=p... 继续阅读 >

2020
09-29

基于pandas向csv添加新的行和列

首先创建一个csv文件，创建方式为新建一个文本文档，然后将这个文本文档重命名为test.csv再用Excel打开，添加内容内容如下：先来添加列data=['a','b','c']df['字母']=dataimportpandasaspdfilename='./test.csv'df=pd.read_csv(filename,encoding='gbk')data=['a','b','c']df['字母']=datadf.to_csv(filename,index=None)由于我们的列标签是中文，所以是encoding=‘gbk'由于我将文件放在了python的工程文件夹内，所... 继续阅读 >

2020
09-29

Python pandas如何向excel添加数据

pandas读取、写入csv数据非常方便，但是有时希望通过excel画个简单的图表看一下数据质量、变化趋势并保存，这时候csv格式的数据就略显不便，因此尝试直接将数据写入excel文件。pandas可以写入一个或者工作簿，两种方法介绍如下：1、如果是将整个DafaFrame写入excel，则调用to_excel()方法即可实现，示例代码如下：#output为要保存的Dataframeoutput.to_excel(‘保存路径+文件名.xlsx‘)2、有多个数据需要写入多个excel的工作簿... 继续阅读 >

2020
09-29

pandas dataframe 中的explode函数用法详解

在使用pandas进行数据分析的过程中，我们常常会遇到将一行数据展开成多行的需求，多么希望能有一个类似于hivesql中的explode函数。这个函数如下：Code#!/usr/bin/envpython#-*-coding:utf-8-*-#createon18/4/13importpandasaspddefdataframe_explode(dataframe,fieldname):temp_fieldname=fieldname+'_made_tuple_'dataframe[temp_fieldname]=dataframe[fieldname].apply(tuple)list_of_datafram... 继续阅读 >

2020
09-29

Python pandas 列转行操作详解(类似hive中explode方法)

最近在工作上用到Python的pandas库来处理excel文件，遇到列转行的问题。找了一番资料后成功了，记录一下。1.如果需要爆炸的只有一列：df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})dfOut[1]:AB01[1,2]12[1,2]如果要爆炸B这一列，可以直接用explode方法（前提是你的pandas的版本要高于或等于0.25）df.explode('B')AB0111122213222.如果需要爆炸的有2列及以上df=pd.DataFrame({'A':[1,2],'B':[[1,2]... 继续阅读 >

2020
09-29

Pandas实现一列数据分隔为两列

分割成一个包含两个元素列表的列对于一个已知分隔符的简单分割（例如，用破折号分割或用空格分割）.str.split()方法就足够了。它在字符串的列（系列）上运行，并返回列表（系列）。>>>importpandasaspd>>>df=pd.DataFrame({'AB':['A1-B1','A2-B2']})>>>dfAB0A1-B11A2-B2>>>df['AB_split']=df['AB'].str.split('-')>>>dfABAB_split0A1-B1[A1,B1]1A2-B2[A2,B2]分割成两列，每列包含列表的相应元素下面... 继续阅读 >

2020
09-29

Python基于pandas爬取网页表格数据

以网页表格为例：https://www.kuaidaili.com/free/该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。原网页结构如下：python代码如下：importpandasaspdurl='http://www.kuaidaili.com/free/'df=pd.read_html(url)[0]#[0]：表示第一个table，多个table需要指定，如果不指定默认第一... 继续阅读 >

2020
09-27

Pandas将列表（List）转换为数据框（Dataframe）

Python中将列表转换成为数据框有两种情况：第一种是两个不同列表转换成一个数据框，第二种是一个包含不同子列表的列表转换成为数据框。第一种：两个不同列表转换成为数据框frompandas.core.frameimportDataFramea=[1,2,3,4]#列表ab=[5,6,7,8]#列表bc={"a":a,"b":b}#将列表a，b转换成字典data=DataFrame(c)#将字典转换成为数据框print(data)输出的结果为  a b0 1 51 2 62 3... 继续阅读 >

2020
09-27

pandas中的ExcelWriter和ExcelFile的实现方法

一、简介pandas中的ExcelFile()和ExcelWriter()，是pandas中对excel表格文件进行读写相关操作非常方便快捷的类，尤其是在对含有多个sheet的excel文件进行操控时非常方便，本文就将针对这两个类的使用方法展开介绍；二、ExcelFile()在使用ExcelFile()时需要传入目标excel文件所在路径及文件名称，下面是示例：importpandasaspddemo_excel=pd.ExcelFile(r'D:\demo.xlsx')查看demo_excel的类型：type(demo_excel)... 继续阅读 >

2020
09-27

pandas的resample重采样的使用

Pandas中的resample，重新采样，是对原样本重新处理的一个方法，是一个对常规时间序列数据重新采样和频率转换的便捷的方法。降采样：高频数据到低频数据升采样：低频数据到高频数据主要函数：resample()（pandas对象都会有这个方法）resample方法的参数参数说明freq表示重采样频率，例如‘M'、‘5min'，Second(15)how='mean'用于产生聚合值的函数名或数组函数，例... 继续阅读 >

2020
09-27

pandas DataFrame 数据选取，修改，切片的实现

在刚开始使用pandasDataFrame的时候，对于数据的选取，修改和切片经常困惑，这里总结了一些常用的操作。pandas主要提供了三种属性用来选取行/列数据：属性名属性ix根据整数索引或者行标签选取数据iloc根据位置的整数索引选取数据loc根据行标签选取数据先初始化一个DateFrame做例子importnumpyasnpimportpandasaspddf=pd.DataFr... 继续阅读 >

2020
09-27

pandas数据选取：df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]

1引言Pandas是作为Python数据分析著名的工具包，提供了多种数据选取的方法，方便实用。本文主要介绍Pandas的几种数据选取的方法。Pandas中，数据主要保存为Dataframe和Series是数据结构，这两种数据结构数据选取的方式基本一致，本文主要以Dataframe为例进行介绍。在Dataframe中选取数据大抵包括3中情况：1）行（列）选取（单维度选取）：df[]。这种情况一次只能选取行或者列，即一次选取中，只能为行或者列设置... 继续阅读 >