每天一个linux命令（3）：uniq 命令

淩亂°似流年 2023-07-07 11:03 11阅读 0赞

一、简介  
uniq用于重复数据处理,使用前先sort排序。  
二、命令格式

uniq [OPTION]... [INPUT [OUTPUT]]
    option:
    -c:在数据行前出现的次数
    -d:只打印重复的行,重复的行只显示一次
    -D:只打印重复的行,重复的行出现多少次就显示多少次
    -f:忽略行首的几个字段
    -i:忽略大小写
    -s:忽略行首的几个字母
    -u:只打印唯一的行
    -w:比较不超过n个字母

三、示例
    
    file="tmp/ut.txt"
    
    #相同数据行只显示一次
    sort ${file} | uniq
    
    #相同数据行只显示一次,行首显示出现的次数
    sort ${file} | uniq -c
    
    #忽略大小写判断，相同数据行只显示一次,行首显示出现的次数
    sort ${file} | uniq -ic
    
    #只显示有重复的数据行,重复数据行只显示一次,行首显示出现的次数
    sort ${file} | uniq -dc
    
    #只显示有重复的数据行,重复数据行显示所有的重复
    sort ${file} | uniq -D
    
    #只显示不重复的数据行,行首显示出现的次数
    sort ${file} | uniq -uc
    
    #忽略行首的9个字母后,对行剩下数据作为判断依据,相同数据行只显示一次,行首显示出现的次数
    sort ${file} | uniq -cs9
    
    #忽略行首的2个字段后,对行剩下数据作为判断依据,相同数据行只显示一次,行首显示出现的次数
    sort ${file} | uniq -cf2

*  \-c或--count 在每列旁边显示该行重复出现的次数。
 *  \-d或--repeated 仅显示重复出现的行列。
 *  \-f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。
 *  \-s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。
 *  \-u或--unique 仅显示出一次的行列。
 *  \-w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。
 *  \--help 显示帮助。
 *  \--version 显示版本信息。
 *  \[输入文件\] 指定已排序好的文本文件。如果不指定此项，则从标准读取数据；
 *  \[输出文件\] 指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）。

### 实例 ###

文件testfile中第 2、3、5、6、7、9行为相同的行，使用 uniq 命令删除重复的行，可使用以下命令：

uniq testfile

testfile中的原有内容为：

$ cat testfile      #原有内容  
    test 30  
    test 30  
    test 30  
    Hello 95  
    Hello 95  
    Hello 95  
    Hello 95  
    Linux 85  
    Linux 85

使用uniq 命令删除重复的行后，有如下输出结果：

$ uniq testfile     #删除重复行后的内容  
    test 30  
    Hello 95  
    Linux 85

检查文件并删除文件中重复出现的行，并在行首显示该行重复出现的次数。使用如下命令：

uniq -c testfile

结果输出如下：

$ uniq -c testfile      #删除重复行后的内容  
    3 test 30             #前面的数字的意义为该行共出现了3次  
    4 Hello 95            #前面的数字的意义为该行共出现了4次  
    2 Linux 85            #前面的数字的意义为该行共出现了2次

当重复的行并不相邻时，uniq 命令是不起作用的，即若文件内容为以下时，uniq 命令不起作用：

$ cat testfile1      # 原有内容 
    test 30  
    Hello 95  
    Linux 85 
    test 30  
    Hello 95  
    Linux 85 
    test 30  
    Hello 95  
    Linux 85

这时我们就可以使用 sort：
    
    $ sort  testfile1 | uniq
    Hello 95  
    Linux 85 
    test 30

统计各行在文件中出现的次数：
    
    $ sort testfile1 | uniq -c
       3 Hello 95  
       3 Linux 85 
       3 test 30
    在文件中找出重复的行：
    
    $ sort testfile1 | uniq -d
    Hello 95  
    Linux 85 
    test 30