Unix中如何删除重复的行而不进行排序？
Unix中如何删除重复的行而不进行排序？
我在Python中有一个实用程序脚本：
#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
if line in unique_lines:
duplicate_lines.append(line)
else:
unique_lines.append(line)
sys.stdout.write(line)
# optionally do something with duplicate_lines
这个简单的功能必须作为一个简单的UNIX实用程序提供，不是吗？
回答 2
UNIX Bash脚本
awk '!x[$0]++'
这个命令只是告诉awk要打印哪些行。该变量$0保存一行的全部内容，方括号是数组访问。因此，对于文件的每一行，x如果该节点的内容!先前未设置（），则该数组的节点将增加，并打印该行。
请执行以下操作：
cat -n file_name | sort -uk2 | sort -nk1 | cut -f2-- 使用
cat -n将行号放在前面 - 使用
sort -u删除重复数据 - 使用
sort -n按前号排序 - 使用
cut删除行号
和开发者交流更多问题细节吧，去 写回答
相似问题
如何在nodepad++中删除重复的行？
如何使用dplyr删除重复的行？
如何在维护排序的同时从列表中删除重复项？
如何使sed删除行不匹配的替代？
如何从ArrayList中删除重复的元素？
相关问答用户
请输入您想邀请的人
腾讯云开发者
