分类：explode

2020
09-29

python 实现 hive中类似 lateral view explode的功能示例

背景：加入现在有这样的数据，可能一条ocr代表两个label，并且label通过","分隔。我们想把数据转换成下面的。原始数据：labelocr日常行车服务,汽车资讯去加油站，加完油后直接离开？最开心的可能是加油站的工作人员社会民生已致2死20伤！景区突遭尘卷风袭击，孩子被卷上天！现场画面曝光目标数据：labelocr日常行车服务... 继续阅读 >

2020
09-29

pandas dataframe 中的explode函数用法详解

在使用pandas进行数据分析的过程中，我们常常会遇到将一行数据展开成多行的需求，多么希望能有一个类似于hivesql中的explode函数。这个函数如下：Code#!/usr/bin/envpython#-*-coding:utf-8-*-#createon18/4/13importpandasaspddefdataframe_explode(dataframe,fieldname):temp_fieldname=fieldname+'_made_tuple_'dataframe[temp_fieldname]=dataframe[fieldname].apply(tuple)list_of_datafram... 继续阅读 >

2020
09-29

Python pandas 列转行操作详解(类似hive中explode方法)

最近在工作上用到Python的pandas库来处理excel文件，遇到列转行的问题。找了一番资料后成功了，记录一下。1.如果需要爆炸的只有一列：df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})dfOut[1]:AB01[1,2]12[1,2]如果要爆炸B这一列，可以直接用explode方法（前提是你的pandas的版本要高于或等于0.25）df.explode('B')AB0111122213222.如果需要爆炸的有2列及以上df=pd.DataFrame({'A':[1,2],'B':[[1,2]... 继续阅读 >