He buscado las Preguntas más frecuentes - con suerte, duplicados, etc ... pero no he tenido ningún artículo o los resultados en ella.

Actualmente, estoy usando:
sort-u archivo1> archivo2 para eliminar duplicados. Para un tamaño de archivo de byte 1giga aprox. tiempo necesario para eliminar duplicados es 1 hora 21 minutos.

¿Hay alguna otra manera más rápida de eliminar duplicados? Nuestros tamaños de archivo puede llegar a 10 a 12 giga octetos tamaño.

Aprpeciate cualquier punteros.
Gracias,
Radhika.

Sólo un pensamiento.

¿Por qué no utilizar el enfoque de divide y vencerás?

Vino

Eso es aproximadamente 200 KB / s. Bastante basura.
Supongo que estás paliza de intercambio?

Una cosa que hacer es comprobar si no necesita multibyte clasificación,
entonces anteponer el tipo de mando con LANG \u003d C

Suena como que necesita una base de datos (índices) para ser honesto.

Si la salida es un pequeño% de la entrada y, a continuación,
particionado explícitamente la entrada sería beneficioso.
IE: mientras sort-u fragmento | sort-u

Pruebe esta ...

sed '$! N; / ^ \ (.* \) \ n \ 1 $ /! P, D'

# La primera línea de los dos ejemplares y sólo se conserva resto se eliminan.

He probado este archivo con cerca de 1GB.

tomó cerca de 13 minutos para ordenar el archivo. Mucho mucho más rápido que el tipo de comando.

HAVN'T intentado su sed. Pero doesnt asume que todas las entradas ya están clasificados y, a continuación, elimina los duplicados.

y / o

Si el archivo está sin clasificar y, a continuación, sobre la base de entradas duplicadas de primera línea son eliminadas. desde que sed hace tan sólo un paso a través del archivo.

¿O lo entiendo mal?

vino

Hola Vino,

Este comando se mantendrá la primera entrada, tal y como es y borrar las otras entradas,

independientemente de si el archivo está ordenada o no.

Mientras que los supuestos antes no ejecutar este comando.

Hola Amit,


>>
sed '$! N; / ^ \ (.* \) \ n \ 1 $ /! P, D'

¿Podría explicar el comando - poco a poco si no le importa.

Gracias!