如何在Linux中使用uniq命令去除重复行？（uniqlinux）

如何在Linux中使用uniq命令去除重复行？

在Linux操作系统中，经常需要对文本文件进行处理，而去除文本文件中的重复行是一个很常见的需求。这时就需要使用Linux内置的uniq命令。下面将介绍如何在Linux中使用uniq命令去除重复行。

1. 命令格式

uniq命令的基本语法如下：

“`shell

uniq [OPTION]… [INPUT [OUTPUT]]

其中，OPTION是可选参数，INPUT是输入文件，如果省略则从标准输入读取，OUTPUT是输出文件，如果省略则输出到标准输出。

2. 去除重复行

uniq命令可以直接去除重复行。默认情况下，它只会去除相邻的重复行，而不会去除整个文件中的重复行。例如：

```shell
$ cat test.txt
apple
orange
orange
banana
apple
$ uniq test.txt
apple
orange
banana
apple

以上命令中，cat测试文件，里面有5行，其中有3行有重复。使用uniq命令去除重复行后，输出了4行，其中apple和orange还各自保留了一行。

如果要去除整个文件中的重复行，可以使用sort命令先对文件进行排序，然后再使用uniq命令去除重复行。例如：

“`shell

$ sort test.txt | uniq

apple

banana

orange

3. 忽略重复行前面的空格

有时，文本文件中的重复行前面可能有空格，这时需要使用uniq命令的-i选项忽略空格。例如：

```shell
$ cat test.txt
  apple
orange
  orange
banana
apple
$ sort test.txt | uniq -i
apple
banana
orange

以上命令中，cat测试文件，里面有5行，其中有3行有重复。使用sort命令先对文件进行排序，然后使用uniq命令去除重复行，并使用-i选项忽略重复行前面的空格。

4. 统计重复行次数

uniq命令还可以使用-c选项来统计各个行的重复次数。例如：

“`shell

$ sort test.txt | uniq -c

2 apple

1 banana

2 orange

以上命令中，使用-c选项可以输出每个重复行的个数，我们发现apple和orange分别重复了2次。

5. 去除指定字段重复行

有时候，我们只需要按照某一个字段去重，这时需要使用uniq命令的-f选项指定字段，例如：

```shell
$ cat test.txt
apple,red
orange,orange
orange,yellow
banana,yellow
apple,green
$ sort test.txt | uniq -f 1
apple,green
banana,yellow
orange,orange

以上命令中，使用-f选项指定按照第二个字段去重，输出结果只保留了不同的第二个字段的重复行。

综上所述，我们在Linux中使用uniq命令去除重复行非常方便，可以轻松地对文本文件进行处理，提高工作效率。