结合awk/sed/xargs/sort/find等命令过滤海量数据的处理 2014/11/15 14953 #查找最近多少时间内流量大于多少的ip端口,并且去重 find ./ -regex ".*2014041322.*\.tmp" | xargs grep '.*' | sort -nr | awk -F ';' '{split($6,a,"%"); split($11,b,"%"); if(a[1]>=1 || b[1]>=1) print $0;}' | awk -F '|' '{print $3":"$5}' | sort -u | sed 's/_NetIO//g'