2021
02-23
02-23
redis 交集、并集、差集的具体使用
一、sinter、sunion、sdiffredis支持Set集合的数据存储,其中有三个比较特殊的方法:sinterkey[key…]查看一个集合的全部成员,该集合是所有给定集合的交集。sunionkey[key…]查看一个集合的全部成员,该集合是所有给定集合的并集。sdiffkey[key…]查看所有给定key与第一个key的差集1.1、sinter交集的示例redis>SMEMBERSgroup_11)"LILEI"2)"TOM"3)"JACK"redis>SMEMBERSgroup_21)"HANMEIMEI"2...
继续阅读 >
一、数据去重日常工作中,使用Hive或者Impala查询导出来可能会存在数据重复的现象,但又不想重新执行一遍查询(查询时间稍长,导出文件内容多),因此想到了使用Linux命令将文件的内容重复数据进行去除。案例如下:可以看到aaa.txx有3条重复数据想去掉多余的数据,只保留一条sortaaa.txt|uniq>bbb.txt将aaa.txt文件中重复数据去掉,输出到bbb.txt可以看到bbb.txt文件中只保留了一条数据二、数据交、并、差1)、交集(相当于user...