Ich habe die Fragen und Antworten - mit sortieren, Duplikate, etc. ... aber ich habe nicht alle Artikel oder Ergebnisse auf.

Derzeit bin ich mit:
sort-u datei1> datei2 Duplikate zu entfernen. Bei einer Dateigröße von ca. 1giga Byte. Zeit, die zur Beseitigung von Dubletten ist 1 Stunde 21 Min..

Gibt es eine andere Art und Weise schneller zu entfernen Duplikate? Unsere Dateigrößen könnte auf 10 bis 12 Giga Byte Größe.

Aprpeciate Any pointers.
Danke,
Radhika.

Nur ein Gedanke.

Warum nicht die teile und herrsche Ansatz?

Vino

Das ist ca. 200 KByte / s. Pretty crap.
Ich vermute, Sie verprügeln Swap?

Eine Sache ist zu prüfen, wenn Sie sie nicht benötigen Multibyte Sortieren,
dann stelle die Art Befehl mit LANG \u003d C

Klingt wie Sie eine Datenbank (Index) um ehrlich zu sein.

Wenn die Ausgabe ist ein kleiner% der Eingabe, dann
ausdrücklich Partitionierung der Eingabe von Vorteil wäre.
IE: Während sort-u chunk | sort-u

Probieren Sie diese ...

sed '$! N; / ^ \ (.* \) \ n \ 1 $ /! P, D'

# Die erste Zeile der doppelten sind nur gehalten und Ruhezeiten sind, werden gestrichen.

Ich habe das mit rund 1 GB-Datei.

Es dauerte etwa 13 min zu sortieren, dass die Datei. Viel viel schneller als Art Befehl.

Havn't versucht Ihr sed. Aber es doesnt gehen davon aus, dass alle Einträge sind bereits sortiert und dann löscht die Duplikate.

und / oder

Wenn die Datei ist unsortiert, dann doppelte Einträge auf der Grundlage der ersten Zeile werden entfernt. seit sed macht nur ein durch die Datei.

Oder habe ich es falsch?

vino

Hallo Vino,

Mit diesem Befehl wird der erste Eintrag, wie sie ist und löschen Sie die anderen Einträge,

unabhängig davon, ob die Datei sortiert ist oder nicht.

Eine vorherige Annahmen während der Ausführung dieses Befehls.

Hallo Amit,


>>
sed '$! N; / ^ \ (.* \) \ n \ 1 $ /! P, D'

Könnten Sie erklären, das Kommando - Stück für Stück, wenn es Ihnen nichts ausmacht.

Danke!