- UNIXおよびLinuxフォーラムのUnixの下でのXMLファイルに重複レコードを削除する

happyv · ＃1 （**固定リンク**） 2006年9月20日

やあ、

もし私のXML形式のファイルが、私は重複レコードを削除し、新しいファイルに保存されたもののようだ。 ...スクリプトを書くことが可能にするのですか。

tayyabq8 · ＃2 （**固定リンク**） 2006年9月20日

挑戦する

コード：

uniq inputfile

Yogesh Sawant · ＃3 （**固定リンク**） 2006年9月20日

場合は、シェルの可能性があるかどうか分からないが、それは可能だ Perlの。可能であれば、そのオプションを検討ください。

happyv · ＃4 （**固定リンク**） 2006年9月20日

のです Perlの kshをUnixで実行することができますか？

また、この記録は少し違いがある... ...のように見える

record1 ：
このテストしている
私の番号2001です
終了：
record2 ：
このtesting2です
私の番号2002です
終了：
record3 ：
このテストしている
私の番号2002です
終了：
record4 ：
このtesting2です
私の番号2002です
終了：

上記の、レコード2と4は重複しています。の" IDため"と" testing2 "は同じです。行は1つだけの場合は呼び出されません..重複同じです

だから Perlのまたは任意の友達には、スクリプトのヘルプをすることができますか？

ranj @ chn · ＃5 （**固定リンク**） 2006年9月20日

私は、このテストhaventは確認してください。

コード：

paste -s -d"\t\t\t\n" filename|sort -u |tr "\t" "\n"

aigles · ＃6 （**固定リンク**） 2006年9月20日

使用を試みることができます awkは。
awkは、以下のスクリプトを作成します uniq.awk ：

コード：

/^end:/ {
   if (! (Record in Records)) {
      Records[Record];
      print RecordLabel ":";
      print Record;
      print $0;  
      Record = "";
   }
   next;
}
$1 ~ /^.*:/ {
   sub(/:.*/, "", $1);
   RecordLabel = $1;
   next;
}
{
   Record = (Record ? Record "\n" : "") $0;
}

して実行：

コード：

$ awk -f uniq.awk filename
record1:
this is testing
my id is 2001
end:
record2:
this is testing2
my id is 2002
end:
record3:
this is testing
my id is 2002
end:
$

ジャン\u003dピエール。

神経 · ＃7 （**固定リンク**） 2006年9月20日

親愛なる卿、

場合の詳細を下のコードを記述することもできるために役立つ、私は始めているのAwkについて学ぶのは素晴らしいことだと私は言うことができる将来的には私は大いに役立つとの明確な方法でコードを以下のように理解してください。

引用：

/ ^エンド： / （
場合（！（レコードのレコードの））（
レコード[レコード] ;
" RecordLabel印刷： " ;
印刷レコード;
$ 0印刷;
レコード\u003d " " ;
）
次のページ;
）
$ 1 〜 /^.*:/ （
サブ(/:.*/, " " 、 $ 1 ） ;
RecordLabel \u003d $ 1 ;
次のページ;
）
（
レコード\u003d （レコード？レコード" \ Ñ " ： " " ） $ 0 ;
）

事前に感謝します。

その他のUNIXおよびLinuxフォーラムトピックは参考にすること
スレッド	スレッドスターター	フォーラム	返信	最後の投稿
レコードがどのようなUnixのファイルからレコードを読むこと	raoscb	UNIXのダミー質問と回答のため	1	2008年5月16日 06:30午前
重複列を削除	kamel.seg	シェルプログラミングとスクリプティング	6	2008年2月21日 07:36午前
最初と最後のレコードを削除するファイルから	ravikuc	UNIXのダミー質問と回答のため	1	2007年10月11日 03:35午前
ソートせずに重複行を削除	lalelle	シェルプログラミングとスクリプティング	6	2007年8月21日 07:44午前
コマンドファイルの最後のレコードを削除する	mheinen	UNIXのダミー質問と回答のため	4	2007年1月9日 04:39午後

スレッドツール	このスレッドを検索
印刷用バージョンを表示するこのページをメール	このスレッドを検索：高度な検索
表示モード	このスレッド
スイッチリニアモードハイブリッドモードスレッドを切り替えるモード	このスレッド：


	を搭載