哈喽！今天心血来潮给大家带来了《linux去除重复行是什么-uniq 命令使用与实例》，想必大家应该对文章都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习文章，千万别错过这篇文章~希望能帮助到你！

Linux uniq 命令

Linux 中的 uniq 命令主要用于识别和移除文本文件中重复的行，通常会配合 sort 命令一起使用。

uniq 可以用来查找文本文件中重复出现的行内容。

语法

<code>uniq [-cdu][-f][-s][-w][--help][--version][输入文件][输出文件]</code>

参数说明：

• -c或--count 在每行前面显示该行重复的次数。
• -d或--repeated 只显示那些重复出现的行。
• -f或--skip-fields= 忽略指定栏位的比较。
• -s或--skip-chars= 忽略指定数量字符的比较。
• -u或--unique 仅显示没有重复的行。
• -w或--check-chars= 设置要比较的字符数。
• --help 显示帮助信息。
• --version 查看版本号。
• [输入文件] 指定一个已经排序好的文本文件。如果不设置，则从标准输入读取；
• [输出文件] 指定结果输出的文件。如不指定，则输出到终端界面。

示例

假设在 testfile 文件中，第 2、3、5、6、7、9 行为相同内容，可以使用以下命令来去重：

<code>uniq testfile </code>

testfile 的原始内容如下：

<code>$ cat testfile      #原始内容  
test 30  
test 30  
test 30  
Hello 95  
Hello 95  
Hello 95  
Hello 95  
Linux 85  
Linux 85 </code>

运行 uniq 命令后，输出结果为：

<code>$ uniq testfile     #去重后的结果  
test 30  
Hello 95  
Linux 85 </code>

若想查看每一行重复的次数，并在行前显示该次数，可使用以下命令：

<code>uniq -c testfile </code>

输出如下：

<code>$ uniq -c testfile      #显示重复次数  
3 test 30             #表示该行出现了3次  
4 Hello 95            #表示该行出现了4次  
2 Linux 85            #表示该行出现了2次 </code>

需要注意的是，如果重复的行不是连续的，uniq 命令将无法正确识别，例如下面这种情况：

<code>$ cat testfile1      #原始内容 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 </code>

此时应先使用 sort 命令排序，再结合 uniq 命令处理：

<code>$ sort testfile1 | uniq
Hello 95  
Linux 85 
test 30</code>

统计各行在文件中的出现频率：

<code>$ sort testfile1 | uniq -c
   3 Hello 95  
   3 Linux 85 
   3 test 30</code>

查找文件中重复的行内容：

<code>$ sort testfile1 | uniq -d
Hello 95  
Linux 85 
test 30  </code>

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。