uniq で重複した行をまとめよう

「同じ内容の行が連続しているファイルから、重複をまとめたい」というときに使うのがuniqです。uniqは隣り合う行が同じ内容のとき、それをまとめて1行にするコマンドです。

uniq ファイル名という書式で使います。重複した回数も表示したいときは-cオプションを付けます。uniqは隣接する行しか比較しないため、事前にsortしておくのが基本です。

uniq sorted-fruits.txtを実行すると、あらかじめソート済みのファイルから連続する重複行がまとめられ、それぞれ1回だけ表示されます。

よくあるつまずきは、ソートせずにuniqだけを使い、離れた場所にある同じ内容の行が重複としてまとめられないことです。sort file | uniqの組み合わせを覚えておきましょう。

実務ではアクセスログから重複したIPアドレスの件数を集計するなど、集計処理の一部として頻繁に使われます。