fjerne dupliseres xml posten i en fil under unix

happyv · #1 (**permalink**) 09-20-2006

Hei,

Hvis jeg har en fil med xml-format, jeg vil fjerne dupliseres poster og lagre til en ny fil. Er det mulig ... til å skrive skript til å gjøre det?

tayyabq8 · #2 (**permalink**) 09-20-2006

Prøve

Code:

uniq inputfile

Yogesh Sawant · #3 (**permalink**) 09-20-2006

Jeg vet ikke om det er mulig i skallet eller ikke, men det er mulig i Perl. Må vurdere dette alternativet hvis du kan.

happyv · #4 (**permalink**) 09-20-2006

Er Perl kan kjøre under ksh Unix?

Også den posten er litt forskjell ... det ser ut som

record1:
dette er testing
min ID er 2001
Slutt:
record2:
dette er testing2
min ID er 2002
Slutt:
record3:
dette er testing
min ID er 2002
Slutt:
record4:
dette er testing2
min ID er 2002
Slutt:

For ovenfor posten 2 og 4 er dupliseres. På grunn av den "id" og "testing2" er den samme. Hvis bare én linje er den samme som ikke kalt dupliseres ..

Så Perl eller en venn kan hjelpe for skriptet?

ranj @ chn · #5 (**permalink**) 09-20-2006

Jeg har ikke testet dette, men sjekk det

Code:

paste -s -d"\t\t\t\n" filename|sort -u |tr "\t" "\n"

aigles · #6 (**permalink**) 09-20-2006

Du kan prøve å bruke awk.
Opprett følgende awk script uniq.awk :

Code:

/^end:/ {
   if (! (Record in Records)) {
      Records[Record];
      print RecordLabel ":";
      print Record;
      print $0;  
      Record = "";
   }
   next;
}
$1 ~ /^.*:/ {
   sub(/:.*/, "", $1);
   RecordLabel = $1;
   next;
}
{
   Record = (Record ? Record "\n" : "") $0;
}

og kjøre det:

Code:

$ awk -f uniq.awk filename
record1:
this is testing
my id is 2001
end:
record2:
this is testing2
my id is 2002
end:
record3:
this is testing
my id is 2002
end:
$

Jean-Pierre.

nervøs · #7 (**permalink**) 09-20-2006

Dear Sir,

Det vil være stor hjelp hvis du kan beskrive koden nedenfor i detalj, jeg har nettopp begynt å lære om awk og jeg kan si at forståelsen av følgende kode på en klar måte ville hjelpe meg mye i fremtiden.

Sitat:

/ ^ slutten: / (
if (! (Vanlig i Records)) (
Records [Vanlig];
print RecordLabel ":";
print Vanlig;
print $ 0;
Vanlig \u003d "";
)
neste;
)
$ 1 ~ /^.*:/ (
sub (/:.*/, "", $ 1);
RecordLabel \u003d $ 1;
neste;
)
(
Vanlig \u003d (Vanlig? Vanlig "\ n": "") $ 0;
)

Takk på forhånd.

Mer UNIX og Linux Forum Emner Du kan finne nyttig
Tråd	Tråd startet	Forum	Svar	Siste innlegg
hvordan du skal lese posten ved å ta opp fra en fil i UNIX	raoscb	UNIX for Dummies Spørsmål og svar	1	05-16-2008 06:30
fjerne dupliseres kolonner	kamel.seg	Shell programmering og Skripting	6	02-21-2008 07:36
Fjern første og siste Vanlig fra en fil	ravikuc	UNIX for Dummies Spørsmål og svar	1	10-11-2007 03:35
fjerne dupliseres linjer uten sortere	lalelle	Shell programmering og Skripting	6	08-21-2007 07:44
kommandoen til å fjerne siste posten på filen	mheinen	UNIX for Dummies Spørsmål og svar	4	01-09-2007 04:39

Thread Tools	Søk i denne tråden
Vis Printable Version Email denne siden	Søk i denne tråden: Avansert søk
Visningsmoduser	Ranger denne tråden
Switch to Linear Mode Hybridmodus Switch to gjengede Mode	Ranger denne tråden:


	Powered by