分类：数据排序

2020
10-08

用python给csv里的数据排序的具体代码

1、使用argparse组件，获取命令行参数；使用re组件，获取需要查找的字符串所在行2、使用pandas组件，对文件进行排序。3、命令行执行数据获取及排序，写入文件；以下是完整代码：#coding:utf-8import reimport argparseimport pandas as pdparser = argparse.ArgumentParser(description='manual to this script')parser.add_argument('--ip', type=str, default ... 继续阅读 >

2020
09-29

Spark处理数据排序问题如何避免OOM

错误思想举个列子，当我们想要比较一个类型为RDD[(Long,(String,Int))]的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable转换为list，然后sortby,但是这样却有一个致命的缺点，就是Iterable在内存中是一个指针，不占内存，而list是一个容器，占用内存，如果Iterable含有元素过多，那么极易引起OOMvalcidAndSidCountGrouped:RDD[(Long,Iterable[(String,Int)])]=c... 继续阅读 >