Oi tudo,
Eu tenho que remove as linhas duplicadas em um arquivo sem chainging o order.for por exemplo, se eu tiver um registro

PQR
def
abc
lmn
PQR
abc
mkh
hgf


a saída deve ser
PQR
def
abc
lmn
mkh
hgf

Plz me.It ajudar é urgente

Abhishek

Será esta uma casa?
Tente pesquisar nos fóruns.

#!/usr/bin/perl -w

while (<STDIN>)
{
        push (@lines, $_);
}

print "-\n";

foreach my $i (@lines)
{
        if (scalar (grep { /$i/ } @lines) == 1)
        {
                print $i;
        }
}

Tsunami repeated_lines # perl repeat.pl 
pqr
def
abc
lmn
pqr
abc
mkh
hgf
-
def
lmn
mkh
hgf
Tsunami repeated_lines #

Tsunami repeated_lines # cat lines |perl repeat.pl 
-
def
lmn
mkh
hgf
Tsunami repeated_lines # cat lines 
pqr
def
abc
lmn
pqr
abc
mkh
hgf
Tsunami repeated_lines #

Usando o awk ...

$ awk '! a[$0]++' file
pqr
def
abc
lmn
mkh
hgf
$

Como eu disse,
você só precisa pesquisar no fórum para encontrar as soluções a seguir:

awk '!_[$0]++' input

perl -ne'print unless $_{$_}++' input

perl -ne'$_{$_}++||print' input

Se a exigência é a de manter o último lugar da primeira ocorrência, é apenas ligeiramente mais difícil.

perl -ne '$n{$_} = $.; END { print sort { $n{$a} <=> $n{$b} } keys %n }'

Com GNU Awk:

awk 'END { for (k in r) t[sprintf("%10d", r[k])] = k
  n = asorti(t, _)
  while (++i <= n) print t[_[i]] }
{ r[$0] = NR }' filename