Salut tous,

Je veux supprimer les doublons d'un fichier délimité tilde. Critères envisage les 2 premiers domaines, dont la combinaison doit être unique, ci-dessous est un échantillon de dossiers dans le fichier d'entrée

1620000010338 ~ 2446694087 ~ 0 ~ 20061130220000 ~ A00BCC1CT
1620000126196 ~ 2446694087 ~ 0 ~ 20061130220000 ~ A00BCC1CT
1620000126196 ~ 2446694087 ~ 1 ~ 20061430220000 ~ A00BCC1CT
1620000127475 ~ 2446694087 ~ 0 ~ 20061130220000 ~ A00BCC1CT
1620000134743 ~ 2446694087 ~ 0 ~ 20061130220000 ~ A00BCC1CT
1620000134743 ~ 2446694087 ~ 0 ~ 20060930220000 ~ A00BCC1CT

ici on remarque que d'enregistrement 3 et 6 sont des enregistrements en double. permettez-moi comment faire en script shell.

Merci à l'avance

 awk '!x[$1,$2]++' FS="~" filename

nawk -F'~' '!a[$1,$2]++' myFile

Et un autre (si le tri est acceptable):

sort -ut~ -k1,2 filename

dans perl

perl -e ' while (<>) { chomp; my @arr = split(/~/); $fileHash{$arr[0].$arr[1]} = $_  } foreach my $k ( keys %fileHash) { print $fileHash{$k} . "\n" } ' filename

Merci beaucoup les gars pour votre réponse, votre réponse m'a beaucoup aidé