uniq

uniq
文本处理

命令介绍

去掉相邻的重复行,或统计相邻重复了几次。

语法

uniq [选项] [文件]

功能简介

uniq 处理相邻的重复行。默认去掉重复,只留一行。它不排序,隔开的重复行去不掉。

-c 在行首数次数,-d 只留重复过的行,-u 只留只出现一次的行。要全文件去重,先 sort。

使用时注意

先把 -c、-d、-u、-i 用熟。换过发行版或版本之后,跑一次 uniq --help,确认这些开关还在。

参数说明

-c在行首加上重复次数
-d只打印重复过的行
-u只打印只出现一次的行
-i比较时忽略大小写
-f 字段数跳过前几个字段再比较

经验技巧

  • 常规去重是 sort | uniq,或者 sort -u。要次数就 uniq -c | sort -nr。
  • sort | uniq 才能去掉不相邻的重复。sort -u 是把两步合成一步。

示例

uniq names.txt

去掉相邻重复

sort words.txt | uniq -c

排序后统计每行出现了几次

sort log.txt | uniq -d

只看重复出现过的行

sort ids.txt | uniq -u

只留出现一次的行

相关命令

同分类

选项会随版本变化,以本机 man 手册为准。