Oi,
Deixe-me explicar o problema claramente:
Deixe as entradas no meu arquivo ser:

lion,tiger,bear
apple,mango,orange,apple,grape
unix,windows,solaris,windows,linux
red,blue,green,yellow
orange,maroon,pink,violet,orange,pink

$fname=<STDIN>;
chomp $fname;
open(file,"<$fname");
$found_dups=0;

for $line(<file>)
{
  chomp $line;
  @arr=split(/,/,$line);
  for($i=1;$i<=$#arr;$i++)
  {
     for($j=$i+1;$j<=$#arr;$j++)
     {
        if($arr[$i] eq $arr[$j])
        {
           print "tid $arr[0]\n";
           $found_dups++;
        }
     }
  }
}
print "Found $found_dups duplicates\n";

Se você tiver o Python, aqui vai uma sucinta alternativa:

#!/usr/bin/python
for line in open("file"):
    line = line.strip().split(",")
    if len(line) == len(set(line)):
        print "No change"
    else:
        print ','.join(line)

# ./test.py
No change
apple,mango,orange,apple,grape
unix,windows,solaris,windows,linux
No change
orange,maroon,pink,violet,orange,pink

awk-F, '(
for (i \u003d 1; I <NF; i + +)
(
para (J \u003d I +1, J <\u003d NF; J + +)
(
if ($ i \u003d\u003d $ j) (print $ I ":" $ 0)
)
)
) '<<ENDOFFILE
leão, tigre, urso
maçã, manga, laranja, maçã, uva
Unix, Windows, Solaris, Windows, Linux
vermelho, azul, verde, amarelo
laranja, castanho-avermelhado, rosa, violeta, laranja, rosa
ENDOFFILE
Apple: maçã, manga, laranja, maçã, uva
janelas: Unix, Windows, Solaris, Windows, Linux
laranja: laranja, castanho-avermelhado, rosa, violeta, laranja, rosa
rosa: laranja, castanho-avermelhado, rosa, violeta, laranja, rosa

Oi,
Thanx para as sugestões. Entendo que o trabalho pode ser feito por diferentes variações de scripts, mas estou ansioso sobre o que é "um único comando / comando cachimbo", que podem fazer o trabalho. Se houver apenas determinado número de entradas em cada linha, posso compará-los manualmente na linha de comando usando awk /perl. Mas desde que eu não sei o n º. de entradas em cada linha, a tarefa é complicada.
Gostaria de ser esclarecido se eu receber uma versão do comando canalização destes scripts.

Obrigado
Srini

Srini, não tenho certeza Entendo a sua relutância em usar os scripts destacado. Dito isto, você pode tentar o script abaixo. Não é muito eficiente, mas é curto.

perl -nle 'print if /(^|,)([^,]+)(,|,.*,)\2(,|$)/;' <file

Novamente com a perl,
mas muito mais simples

#! /opt/third-party/bin/perl

open(FILE, "<", "file") || die "Unable to open file <$!> \n";

while(chomp($var=<FILE>)) {
  @arr = split(/,/, $var);
  foreach(@arr) {
    if( exists $fileHash{$_} ) {
      print $var . "\n";
      last;
    }
    else {
      $fileHash{$_} = $i++;
    }
  }
  %fileHash = ();
}

close(FILE);

exit 0

Oi,
Acho que estou enganado.
Eu tinha uma tal exigência quando eu postou esta pergunta, mas foi a minha curiosidade que me dirigiram para guyz perguntar-lhe sobre a "linha de comando" do que a minha versão perl programa poderia fazer. Não é que estou a negligenciar os scripts postado, mas só que eu queria expandir meus conhecimentos sobre uma liners (tenho um fascínio perante uma liners).

Desculpa se a minha escritura foi arrogante embora.

Obrigado,
Srini