拿了一份邮箱地址,想要对地址进行去重。
打开文件一看,好几列。...07.763000000,浙江省杭州市,qq.com,59592,1378747@qq.com,1,1,2015-04-08 15:31:07.763000000,四川省达州市,qq.com,5
命令1:
#获得去重后的结果...{print $2}' | sort |uniq
#只显示重复的列
cat 001.csv | awk -F ";" '{print $2}' | sort | uniq -d
#多个字段作为主键,去重...cat 001.csv | awk -F ";" '{print $1"-"$2}' | sort | uniq -d
按空格区分进行去重,所以得出的是15:31:07.763000000,陕西省咸阳市