Hvordan fjerne kopiere linjer i en post uten å endre rekkefølgen

abhi.roy03 · #1 (**permalink**) 08-02-2008

Hei alle,
Jeg må fjerne kopiere linjer i en fil uten chainging den order.for f.eks hvis jeg har en rekord

pqr
def
abc
LMN
pqr
abc
mkh
hgf

Utdatafilen bør
pqr
def
abc
LMN
mkh
hgf

Plz hjelpe me.It haster

Abhishek

radoulov · #2 (**permalink**) 08-02-2008

Er dette en lekser?
Prøv å søke forumene.

fryktinngytende · #3 (**permalink**) 08-02-2008

Code:

#!/usr/bin/perl -w

while (<STDIN>)
{
        push (@lines, $_);
}

print "-\n";

foreach my $i (@lines)
{
        if (scalar (grep { /$i/ } @lines) == 1)
        {
                print $i;
        }
}

Bruk:

Code:

Tsunami repeated_lines # perl repeat.pl 
pqr
def
abc
lmn
pqr
abc
mkh
hgf
-
def
lmn
mkh
hgf
Tsunami repeated_lines #

Å stoppe skriving, trykker du bare på Ctrl-D og manuset vil gi deg all den ikke-gjentatt strenger i input rekkefølge.

Du kan også gjøre noe slikt som:

Code:

Tsunami repeated_lines # cat lines |perl repeat.pl 
-
def
lmn
mkh
hgf
Tsunami repeated_lines # cat lines 
pqr
def
abc
lmn
pqr
abc
mkh
hgf
Tsunami repeated_lines #

fpmurphy · #4 (**permalink**) 08-02-2008

Bruke awk ...

Code:

$ awk '! a[$0]++' file
pqr
def
abc
lmn
mkh
hgf
$

radoulov · #5 (**permalink**) 08-02-2008

Som jeg sa,
du trenger bare å søke i forumet for å finne følgende løsninger:

Code:

awk '!_[$0]++' input

Code:

perl -ne'print unless $_{$_}++' input

eller:

Code:

perl -ne'$_{$_}++||print' input

æra · #6 (**permalink**) 08-03-2008

Hvis kravet er å holde det siste stedet for den første forekomsten, er det bare marginalt hardere.

Code:

perl -ne '$n{$_} = $.; END { print sort { $n{$a} <=> $n{$b} } keys %n }'

Hvis den siste linjen mangler en linje, som vil telle som en unik linje. Det er ikke veldig vanskelig å fikse, men jeg ville ikke komplisere skriptet.

radoulov · #7 (**permalink**) 08-03-2008

Sitat:

Hvis kravet er å holde det siste stedet for den første forekomsten
[...]

Med GNU Awk:

Code:

awk 'END { for (k in r) t[sprintf("%10d", r[k])] = k
  n = asorti(t, _)
  while (++i <= n) print t[_[i]] }
{ r[$0] = NR }' filename

Mer UNIX og Linux Forum Emner Du kan finne nyttig
Tråd	Tråd startet	Forum	Svar	Siste innlegg
Fjern duplikatinnhold linjer i loggfiler	karthikn7974	Shell programmering og Skripting	4	03-21-2009 06:41
Fjern Dupliserte linjer fra fil	Nysif Steve	UNIX for Dummies Spørsmål og svar	18	09-09-2007 09:57
hvordan du fjerner duplikat linjer	fredao	Shell programmering og Skripting	3	12-13-2006 12:51
Fjern Dupliserte Lines i File	Den Tiack Ein	Shell programmering og Skripting	5	01-12-2006 08:30
reconstructing en post i en annen rekkefølge	r1500	UNIX for Dummies Spørsmål og svar	1	10-16-2003 06:24

Thread Tools	Søk i denne tråden
Vis Printable Version Email denne siden	Søk i denne tråden: Avansert søk
Visningsmoduser	Ranger denne tråden
Switch to Linear Mode Hybridmodus Switch to gjengede Mode	Ranger denne tråden: