doppelte Zeile in einer Text-Datei - Die UNIX-und Linux-Foren

nixguy · #1 (**permalink**) 04-25-2008

Ich möchte Scandatei für doppelte Zeilen, und drucken Sie die Duplikate zu einer anderen Datei,
Oh, und es muss nicht beachtet.

Beispiel

line1
line2
line2
Linie 3
Line4
Line4

Ausgabedatei:
line2
Line4

irgendwelche Ideen

Ära · #2 (**permalink**) 04-25-2008

Code:

perl -ne '$l = lc(); print if $m{$l}++; ' file

LC gibt den angegebenen String in Kleinbuchstaben, in diesem Fall, ohne Parameter, wird der Standardwert der aktuellen Eingabezeile. $ m ($ L) ist die Anzahl der Häufigkeit, mit der wir gesehen haben $ l; wenn es ungleich Null, es ist eine doppelte, so dass wir drucken es für Sie.

nixguy · #3 (**permalink**) 04-25-2008

Zitat:

Zitat von Ära

Code:

perl -ne '$l = lc(); print if $m{$l}++; ' file

LC gibt den angegebenen String in Kleinbuchstaben, in diesem Fall, ohne Parameter, wird der Standardwert der aktuellen Eingabezeile. $ m ($ L) ist die Anzahl der Häufigkeit, mit der wir gesehen haben $ l; wenn es ungleich Null, es ist eine doppelte, so dass wir drucken es für Sie.

Dank ist es bei einer Datei, aber ich vergaß hinzuzufügen, dass, wenn ich es brauchen, um auf ein Verzeichnis und stellen Sie sicher, dass Sie auf eine Datei und nicht nur Unterverzeichnis

Welche Änderungen würden Sie tun,

Ära · #4 (**permalink**) 04-25-2008

Schleife über Dateien in einem Verzeichnis, und entfernen Sie Duplikate? Wollen Sie, die Dateien zu ersetzen?

Code:

for f in directory/*; do
  test -d "$f" && continue   # skip if it's a subdirectory
  perl -ne '$l = lc(); print if $m{$l}++; ' "$f" >"$f.tmp"
  mv "$f.tmp" "$f"
done

nixguy · #5 (**permalink**) 04-25-2008

Vielen Dank, dass Sie Zeit, da hat es funktioniert,

summer_cherry · #6 (**permalink**) 04-29-2008

Code:

awk '{
  a[$0]++
}
END{
 for (i in a)
 if (a[i]=2)
 print i
}' filename

Mehr UNIX-und Linux-Forum Themen Vielleicht finden Sie hilfreiche
Faden	Thread Starter	Forum	Antworten	Last Post
Zusammenfügen aller doppelte Zeile in einer Datei.	vaskarbasak	Shell Programmierung und Scripting	30	08-29-2008 05:31 AM
Lesung Textdatei Zeile für Zeile	MizzGail	Shell Programmierung und Scripting	6	04-14-2008 06:58 AM
Die Beseitigung Doppelte IP-Adressen aus einer Textdatei	coolkid	Shell Programmierung und Scripting	4	01-24-2008 07:22 PM
Doppelte Datensätze aus Oracle-Text-Datei.	shilendrajadon	UNIX für Fortgeschrittene und Experten	1	01-10-2008 11:21 AM
Auslagerungsdatei eine Textdatei Zeile für Zeile?	tomapam	UNIX for Dummies Questions & Answers	2	10-07-2002 09:30 AM

Thread Tools	Suche diesen Thread
Zeige Druckversion E-Mail Diese Seite	Suche diesen Thread: Erweiterte Suche
Anzeige-Modi	Rate this thread
Wechseln Sie in den Linear-Modus Hybrid-Modus Switch to Threaded Mode	Rate this thread:


	Powered by