linux: 去除重复行,且保留原来的行排序
linux 用sort+uniq虽然可以去重,但是会改动原文件行的顺序。
因此可以用awk '!x[$0]++' file.txt > sort.txt命令
'!x[$0]++'可以在去重的基础上,不改动原来文件的行顺序。
linux 用sort+uniq虽然可以去重,但是会改动原文件行的顺序。
因此可以用awk '!x[$0]++' file.txt > sort.txt命令
'!x[$0]++'可以在去重的基础上,不改动原来文件的行顺序。