duplikateksemplar linje i en tekstfil

nixguy · #1 (**permalink**) 04-25-2008

Jeg vil gerne scanne filen i for duplikateksemplar linjer og udskrive kopier til en anden fil,
oh, og det skal være små bogstaver.

eksempel

Line1
line2
line2
Line3
Line4
Line4

uddatafil:
line2
Line4

nogen idéer

epoke · #2 (**permalink**) 04-25-2008

Code:

perl -ne '$l = lc(); print if $m{$l}++; ' file

lc Returnerer den angivne streng med små bogstaver, og i dette tilfælde uden nogen parameter, er det standard den aktuelle input linje. $ m ($ l) er optællingen af antallet af gange, vi har set $ l; hvis det nonzero, det er et duplikat, så vi udskrive det.

nixguy · #3 (**permalink**) 04-25-2008

Citat:

Oprindeligt Indsendt af epoke

Code:

perl -ne '$l = lc(); print if $m{$l}++; ' file

lc Returnerer den angivne streng med små bogstaver, og i dette tilfælde uden nogen parameter, er det standard den aktuelle input linje. $ m ($ l) er optællingen af antallet af gange, vi har set $ l; hvis det nonzero, det er et duplikat, så vi udskrive det.

tak det er arbejdet for en fil, men jeg glemte at tilføje, at hvis jeg har brug for det til at køre på en mappe, og sørg for at gøre på en fil og ikke undermappe

hvilke ændringer ville du gøre

epoke · #4 (**permalink**) 04-25-2008

Loop over filer i en mappe, og fjerne dubletter? Ønsker du at erstatte de filer?

Code:

for f in directory/*; do
  test -d "$f" && continue   # skip if it's a subdirectory
  perl -ne '$l = lc(); print if $m{$l}++; ' "$f" >"$f.tmp"
  mv "$f.tmp" "$f"
done

nixguy · #5 (**permalink**) 04-25-2008

Tak Era, det fungerede,

summer_cherry · #6 (**permalink**) 04-29-2008

Code:

awk '{
  a[$0]++
}
END{
 for (i in a)
 if (a[i]=2)
 print i
}' filename

Mere UNIX og Linux Forum Emner du måske kan finde Helpful
Tråd	Thread Starter	Forum	Svar	Last Post
concatenate alle duplikateksemplaret linje i en fil.	vaskarbasak	Shell Programmering og Scripting	30	08-29-2008 06:31 AM
læser tekstfilen linje for linje	MizzGail	Shell Programmering og Scripting	6	04-14-2008 07:58 AM
Udryddelse Dubler IP'er fra en tekstfil	coolkid	Shell Programmering og Scripting	4	01-24-2008 07:22 PM
Dupliker optegnelser fra Oracle til tekstfil.	shilendrajadon	UNIX for Advanced & Ekspertsøgning Brugere	1	01-10-2008 11:21 AM
personsøgning en tekstfil linje for linje?	tomapam	UNIX for dummyer Spørgsmål & svar	2	10-07-2002 10:30 AM

Thread Tools	Søg denne tråd
Vis Printvenlig Version Email denne side	Søg denne tråd: Avanceret søgning
Display Modes	Bedøm denne tråd
Switch to Linear Mode Hybridtilstand Switch to Tråd Mode	Bedøm denne tråd:


	Powered by