God morgon,
Novis scripter i Unix här, och jag har stött på och sed uppgift jag inte riktigt avsluta mitt huvud runt. Jag drar mitt hår ut fort nog som det är och trodde att jag skulle gå till kunskapsbank.

Jag har en sorterad fil som jag försöker att klippa ned genom att radera alla rader vars första tecknen är en upprepning av en tidigare linje.
dvs

1 ABCD
1 CDEF
1 EFGH
2 ACDE
2 GLKGI
2 KLIGH
.
.
.
10 ABSD
10 OIHIHN
10 OHOIN
.
.
.
XX LIHIN
XX OIHNM
XX OHINK

Jag måste ta bort alla rader för vilken linjen sidhuvudet (tre första tecknen är en upprepning.) Så för de tidigare linjerna skulle hålla den första raden som börjar med "1" i första raden som börjar med "2" etc. Så Slutresultatet av det skulle

1 ABCD
2 ACDE
.
10 ABSD
.
XX LIHIN

De tre första tecknen är alltid hela tal, inte mer än 2 siffror, följt av ett mellanslag, men det maximala antal förändringar (det kan någonstans mellan 11 och 40)

Jag antar att det andra alternativet skulle vara att skriva ut den första raden som innehåller "1", den första raden som innehåller "2" osv och släppa dem i en ny fil.
Jag är mer bekant med SED, Men med AWK eller något annat skulle vara bra också.

Tack på förhand!

awk ' !arr[$1]++' oldfile > newfile

Worked like a dream!
Det är mycket uppskattat!