Ho cercato le FAQ - utilizzando sorta, duplicati, ecc ... ma non ho alcun articolo o risultati su di esso.

Attualmente sto utilizzando:
sort-u file1> file2 di eliminare i duplicati. Per un file di dimensioni di circa 1giga byte. tempo necessario per rimuovere i duplicati è 1 ora e 21 min.

C'è un altro modo più veloce per eliminare i duplicati? Le nostre dimensioni di file potrebbero arrivare a 10 a 12 Giga byte dimensioni.

Aprpeciate qualsiasi puntatori.
Grazie,
Radhika.

Solo un pensiero.

Perché non utilizzare il divide et impera approccio?

Vino

Questo è circa 200 Kb / s. Pretty crap.
Presumo che stai thrashing swap?

Una cosa da verificare è se non hai bisogno di multibyte cernita,
anteponi quindi il tipo di comando con LANG \u003d C

Suona come avete bisogno di un database (indici), a essere onesti.

Se l'output è una piccola% di input, quindi
partizionamento esplicitamente l'ingresso sarebbe vantaggioso.
IE: mentre sort-u pezzo | sort-u

Prova questo uno ...

sed '$! N / ^ \ (.* \) \ n \ 1 $ /! P; D'

# La prima linea è quella di duplicare solo conservato e di riposo sono soppressi.

Ho testato con circa 1 GB di file.

ci sono voluti circa 13 minuti per ordinare i file. Molto molto più veloce di tipo comando.

Havn't cercato il tuo sed. Ma doesnt si suppone che tutte le voci sono già ordinati e poi elimina i duplicati.

e / o

Se il file è senza cernita, quindi sulla base di voci duplicate prima linea sono stati rimossi. da sed fa solo un passaggio attraverso il file.

Oppure non ho capito male?

vino

Hi Vino,

Questo comando non mancherà di tenere il primo ingresso in quanto è e cancellare le altre voci,

indipendentemente dal fatto che il file è ordinato o meno.

N. prima ipotesi, mentre l'esecuzione di questo comando.

Hi Amit,


>>
sed '$! N / ^ \ (.* \) \ n \ 1 $ /! P; D'

Potrebbe spiegare il comando - poco a poco se non si mente.

Grazie!