Привет,

Если у меня есть файл в формате XML, я хотел бы удалить записи дублируется и сохранить в новый файл. Можно ли ... чтобы написать скрипт, чтобы сделать это?

Пытаться

uniq inputfile

Я не знаю, если это возможно, в оболочке или нет, но это возможно в Perl. Ли рассматривать этот вариант, если вы можете.

Является ли Perl может работать под Unix KSH?

Кроме того, отчет немного разница ... она выглядит

record1:
это тестирование
моя идентификатор 2001
конец:
record2:
это testing2
моя идентификатор 2002
конец:
record3:
это тестирование
моя идентификатор 2002
конец:
record4:
это testing2
моя идентификатор 2002
конец:

Для выше, запись 2 и 4 дублируется. Из-за "ID" и "testing2" это то же самое. если только одна строка такая же, которые не дублируются призвал ..

Так Perl или какие-либо другом могут помочь в скрипте?

Я нету этого испытания, но, пожалуйста, проверьте его

paste -s -d"\t\t\t\n" filename|sort -u |tr "\t" "\n"

Вы можете попробовать использовать AWK.
Создайте следующий сценарий AWK uniq.awk :

/^end:/ {
   if (! (Record in Records)) {
      Records[Record];
      print RecordLabel ":";
      print Record;
      print $0;  
      Record = "";
   }
   next;
}
$1 ~ /^.*:/ {
   sub(/:.*/, "", $1);
   RecordLabel = $1;
   next;
}
{
   Record = (Record ? Record "\n" : "") $0;
}

$ awk -f uniq.awk filename
record1:
this is testing
my id is 2001
end:
record2:
this is testing2
my id is 2002
end:
record3:
this is testing
my id is 2002
end:
$

Уважаемый сэр,

Было бы большим подспорьем, если вы можете описать код в подробности, я только начал учиться около AWK и я могу сказать, что понимание следующий код в ясный путь поможет мне многое в будущем.
Спасибо заранее.