uniq
uniq 命令 - 去除重复的行
uniq 用于去除或统计文本中连续重复的行。注意它只能去除连续重复的行，因此通常需要先 sort 排序再 uniq。uniq -c 是最常用的参数，它统计每行出现的次数，配合 sort 可实现分组统计。
命令语法
uniq [选项] [输入文件 [输出文件]]
常用参数
| -c | 显示每行重复次数 |
| -d | 只显示重复的行 |
| -u | 只显示不重复的行 |
实战示例
- $ sort file.txt | uniq排序后去重
- $ uniq -c file.txt统计每行出现次数
温馨提示
经典用法：sort file.txt | uniq -c | sort -rn 统计每行出现次数并从多到少排列。如果要全局去重（不相邻也去重），用 sort -u 比 sort | uniq 更简洁。