- UNIXおよびLinuxフォーラムのファイルの重複行を削除する

オセロット · ＃1 （**固定リンク**） 2007年1月25日

やあ、

私は、ファイルの重複行を削除しようとしている。たとえばexample.txtの内容です：

これはテストです
2342
これはテストです
34343
これはテストです
43434

そして私は"これだけのファイルには、最後にされている数字を最後のテスト"行を削除します：

2342
34343
43434

ありがとう

Krrishv · ＃2 （**固定リンク**） 2007年1月25日

はgrep - v "を^ T "を<ファイル名>

anbu23 · ＃3 （**固定リンク**） 2007年1月25日

引用：

当初の投稿 オセロット

やあ、

私は、ファイルの重複行を削除しようとしている。たとえばexample.txtの内容です：

これはテストです
2342
これはテストです
34343
これはテストです
43434

そして私は"これだけのファイルには、最後にされている数字を最後のテスト"行を削除します：

2342
34343
43434

ありがとう

コード：

grep -v "[[:alpha:]]" file

ジムマクナマラ · ＃4 （**固定リンク**） 2007年1月25日

コード：

# this prints only one line for each distinct record in oldfile
awk '!x[$0]++' oldfile > newfile

# this completely removes all occurrances of all duplicated lines
awk 'x[$0]++ == 2' oldfile > t.sed
grep -v -f t.sed  oldfile > newfile

与えられたデータを、他のソリューションに依存しているつまり、フィルタにあなたの例では重複データの特性を使用しています。

オセロット · ＃5 （**固定リンク**） 2007年1月25日

おかげでみんなを扱う仕事を！

その他のUNIXおよびLinuxフォーラムトピックは参考にすること
スレッド	スレッドスターター	フォーラム	返信	最後の投稿
ファイルから重複行を削除する	Nysifスティーブ	UNIXのダミー質問と回答のため	18	2007年9月9日 09:57午前
どのようにファイルの重複行をリダイレクトするか？	zing_foru	UNIXのダミー質問と回答のため	3	2007年4月25日 08:03午前
ファイル内の重複行	guptan	UNIXの詳細＆エキスパートのためのユーザー	3	2006年5月18日 06:28午前
重複行を削除するファイルの	アインはTiack	シェルプログラミングとスクリプティング	5	2006年1月12日 08:30午前
重複行を削除する場合は無視	hellsd	UNIXのダミー質問と回答のため	17	2004年12月2日 10:47午前

スレッドツール	このスレッドを検索
印刷用バージョンを表示するこのページをメール	このスレッドを検索：高度な検索
表示モード	このスレッド
スイッチリニアモードハイブリッドモードスレッドを切り替えるモード	このスレッド：


	を搭載