The UNIX and Linux Forums  
Helloやアメリカ合衆国へようこそ！ UNIXおよびLinuxフォーラム！訪問し、当社のグローバルコミュニティに参加いただきありがとうございます。

Go Back   UNIXおよびLinuxフォーラム > トップフォーラム > UNIXのダミー質問と回答のため
Remove Duplicate lines from File ファイルから重複行を削除する
。
Googleのunix.com

フォーラム 登録 フォーラムのルールリンクアルバム よくある質問 メンバーリスト カレンダー 探す 今日の投稿 マークフォーラムを読む


UNIXのダミー質問と回答のため もしUNIXやLinuxについての質問があれば、ここに投稿してください。すべてのUNIXおよびLinux初心者歓迎！

その他のUNIXおよびLinuxフォーラムトピックは参考にすること
スレッド スレッドスターター フォーラム 返信 最後の投稿
ログファイルに重複行を削除 karthikn7974 シェルプログラミングとスクリプティング 4 2009年3月21日 06:41午後
ファイルから重複したレコードのすべてのインスタンスを削除する vukkusila シェルプログラミングとスクリプティング 3 2007年12月12日 07:50午前
重複行を削除する方法 fredao シェルプログラミングとスクリプティング 3 2006年12月13日 12:51午後
ファイル内の重複行 guptan UNIXの詳細＆エキスパートのためのユーザー 3 2006年5月18日 05:28午前
重複行を削除するファイルの アインはTiack シェルプログラミングとスクリプティング 5 2006年1月12日 08:30午前

Closed Thread
ページ1 2 1 2
English Japanese Spanish French German Portuguese Italian Dutch Swedish Russian Norwegian Hungarian Hebrew Danish Bulgarian Greek を搭載 Powered by Google
 
LinkBack スレッドツール このスレッドを検索 スレッドを評価 表示モード
  ＃1 （固定リンク）  
Old 2007年8月30日
Nysifスティーブ Nysif Steve is offline
登録ユーザー
  
 

参加日： 2007年8月
場所：アルバニー、ニューヨーク
投稿： 26
ファイルから重複行を削除する
私は、以下の行を見られるようないくつか含まれているログファイル" " logreportている：

4時20分00秒は/ usr / libに/のSNMP / snmpdx ： [番号702911 デーモン。エラー]エージェントsnmpdが死亡したのpingに応答
6時38分08秒は/ usr / libに/のSNMP / snmpdx ： [番号702911 デーモン。エラー]エージェントsnmpdが死亡したのpingに応答
午前7時11分05秒は/ usr / libに/のSNMP / snmpdx ： [番号702911 デーモン。エラー]エージェントsnmpdが死亡したのpingに応答


私のエントリが重複する予定のレポートを削除するにはレポートを編集したいと思います。私の下に見られているに近い出力を生成しようとしている：

4時20分00秒は/ usr / libに/のSNMP / snmpdx ： [番号702911 デーモン。エラー]エージェントsnmpdが死亡したのpingに応答
このエラーを再現された2回
  ＃2 （固定リンク）  
Old 2007年8月30日
宜蘭 ilan is offline
登録ユーザー
  
 

参加日： 2007年7月
投稿数： 101
uniqを使うことができます。

を使ってこのようなもの：
私はもっとlogreportで` |ソート| uniq ` ; " ＆ Iのno.of時間： `はgrep - cを$私` " logreport ;行わエコーを行う

-宜蘭
宜蘭の編集最終更新日; 2007年8月30日に 02:49午後..
  ＃3 （固定リンク）  
Old 2007年8月30日
radoulov's Avatar
radoulov radoulov is offline Forum Staff  
中毒
  
 

参加日： 2007年1月
場所： Варна 、 България /ミラノ、イタリア
投稿数： 2,854
コード：
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
	for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' logfile
いつものように、使用nawkまたは/ usr/xpg4/bin/awk Solaris上。
  ＃4 （固定リンク）  
Old 2007年8月31日
Nysifスティーブ Nysif Steve is offline
登録ユーザー
  
 

参加日： 2007年8月
場所：アルバニー、ニューヨーク
投稿： 26
具体的にはどんな本からの出力は何ですか？私はそれを正しく実行するようになることはできません。

コード：
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
	for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' logfile
  ＃5 （固定リンク）  
Old 2007年8月31日
radoulov's Avatar
radoulov radoulov is offline Forum Staff  
中毒
  
 

参加日： 2007年1月
場所： Варна 、 България /ミラノ、イタリア
投稿数： 2,854
引用：
当初の投稿 Nysifスティーブ View Post
具体的にはどんな本からの出力は何ですか？私はそれを正しく実行するようになることはできません。
何を得るの出力は何ですか？

コード：
zsh 4.3.2% cat file
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to peng
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
zsh 4.3.2% awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' file
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
This Error was reproduced 2 times
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to peng
This Error was reproduced 1 times
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
This Error was reproduced 3 times
  ＃6 （固定リンク）  
Old 2007年8月31日
cassj's Avatar
cassj cassj is offline VIP Member  
サポーター
  
 

参加日： 2003年7月
場所： Interweb
投稿数： 109
私radoulovのスクリプトを試したところ、私の作品。私は自分のデスクトップ上にサンプルのログファイルと呼ばれる" "これらのエントリでlogfile.logがありました：

コード：
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
06:38:08 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
09:20:00 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
10:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
11:11:05 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
私は自分のデスクトップにし、私は"を追加するのは、わずかな修正を加えてradoulovのスクリプトを使用cd'd \ "の各ラインの最後にコピーできるので、 bashのコマンドラインに貼り付けます。

コード：
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{\
for(i in x) \
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]\
}' logfile.log
Enterキーを押すと出来上がり！ ：

コード：
10:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
This Error was reproduced 3 times
11:11:05 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
This Error was reproduced 3 times
ニースの仕事radoulov ！
  ＃7 （固定リンク）  
Old 2007年9月5日
psiva_arul's Avatar
psiva_arul psiva_arul is offline
登録ユーザー
  
 

参加日： 2007年7月
場所：バンガロール、インド
投稿： 97
こんにちはすべて、

1つは、 "分離されているテキストファイルを以下に| " 。このファイルの2行の各列の3つの値（ file_header 、 file_headerとinvoice_detail ）をしている。このような

file_header | GEES日EU | 343 | 2007 - 08 - 29T07 ： 10:51 | SSPF | 12 | 2008 | 0 | 0 | SSSの| |
invoice_header | 39478-198192-2 | 250489 | BRIDGEWATER108 | 2007 - 08 - 28T00 ： 00:00 | 1 |標準|領収Invoic
invoice_detail | 39478-198192-2 | 2 |商品| 1 | 1 | 1 | 8 - 07 | 5896.45820.000.00.00.000000.000 |広告| 856974521 | 257ZA | zas78

file_header | GEAS日EU | 343 | 2007 - 08 - 29T07 ： 10:51 | SSPF | 12 | 2008 | 0 | 0 | SSSの| |
invoice_header | 35818-198192-2 | 250489 | BRIDGEWATER108 | 2007 - 08 - 28T00 ： 00:00 | 1 |標準|領収Invoic
invoice_detail | 1235-198192-2 | 2 |商品| 1 | 1 | 1 | 8 - 07 | 17.121504.45820.000.00.00.000000.000 |広告| 123456789 | 257ZA | zas78

期待出力：
\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d

私は上記のinpuファイルから（私たちinvoice_detail列目から11列を削減するために必要な11列の上にカットします。

856974521
123456789

事前のおかげで、

ありがとう、
Siva.P
バンガロール。
Closed Thread
ページ1 2 1 2

ブックマーク

タグ
linuxの、 sendmailの

« して、ファイルから行を削除する別のファイルに配置する | を組み合わせ、検索はgrepとgzip »
スレッドツール このスレッドを検索
このスレッドを検索：

高度な検索
表示モード このスレッド
Hybrid Mode ハイブリッドモード
このスレッド：

投稿ルール
あなた ことができない。 新しいスレッドを投稿
あなた ことができない。 返信の投稿
あなた ことができない。 添付ファイルの投稿
あなた ことができない。 自分の投稿を編集
BBコード なる 〜の上に
スマイリー なる 〜の上に
[イメージ] コードは 〜の上に
HTMLコードは、 オフ
トラックバック なる 〜の上に
ピングバック なる 〜の上に
Refbacks なる 〜の上に



すべてGMT -4です。現在の時刻は 09:39午後。

The UNIX and Linux Forums - Learn UNIX and UNIX Commands RSS Feeds - お問い合わせ - は、 UNIXおよびLinuxフォーラム-学ぶUNIXおよびUNIXのコマンド - アーカイブ - トップ

提供： vBulletin、著作権© 2000 - 2006、Jelsoft企業株式会社。言語翻訳による電源 。
vBCredits v1.4著作権© 2007 - 2008 、 PixelFXスタジオ
は、 UNIXおよびLinuxフォーラムのコンテンツ著作権© 1993 〜 2009 。すべての権利を管理しReserved.Ad RedTyger

コンテンツ関連のURLで vBSEO 3.2.0