Hej,

Hvis jeg har en fil med XML-format, vil jeg gerne fjerne overlappes optegnelser og gemme på en ny fil. Er det muligt ... at skrive script til at gøre det?

Forsøge

uniq inputfile

Jeg ved ikke, om det er muligt i råtanken eller ej, men det er muligt i Perl. Må overveje denne mulighed, hvis du kan.

Er Perl kan køre under ksh Unix?

Også, the record er en smule forskel ... det ser ud som

record1:
Dette er test
mit id er 2001
Slut:
record2:
dette er testing2
mit id er 2002
Slut:
record3:
Dette er test
mit id er 2002
Slut:
record4:
dette er testing2
mit id er 2002
Slut:

Af ovenstående, optage 2 og 4 er overlappes. På grund af den "ID" og "testing2" er det samme. Hvis kun én linje er den samme, som ikke er kaldet overlappes ..

Så Perl eller en ven kan hjælpe til scriptet?

Jeg har ikke testet dette, men du kontrollere det

paste -s -d"\t\t\t\n" filename|sort -u |tr "\t" "\n"

Du kan prøve at bruge awk.
Opret følgende awk script uniq.awk :

/^end:/ {
   if (! (Record in Records)) {
      Records[Record];
      print RecordLabel ":";
      print Record;
      print $0;  
      Record = "";
   }
   next;
}
$1 ~ /^.*:/ {
   sub(/:.*/, "", $1);
   RecordLabel = $1;
   next;
}
{
   Record = (Record ? Record "\n" : "") $0;
}

$ awk -f uniq.awk filename
record1:
this is testing
my id is 2001
end:
record2:
this is testing2
my id is 2002
end:
record3:
this is testing
my id is 2002
end:
$

Dear Sir,

Det ville være en stor hjælp hvis du kan beskrive koden nedenfor i detaljer, jeg er lige begyndt at lære om awk og jeg kan sige, at forståelsen af følgende kode på en klar måde ville hjælpe mig meget i fremtiden.
Thanks in advance.