Jeg har søgt FAQ - ved hjælp af sort, dubletter, etc. ... men jeg fik ikke nogen artikler eller resultater på det.

I øjeblikket bruger jeg:
sort-u fil1> fil2 at fjerne dubletter. For en filstørrelse på 1giga byte ca. tid, det tager at fjerne dubletter er 1 time og 21 min.

Er der nogen andre hurtigere måde at fjerne dubletter? Vores filstørrelser kunne komme til fra 10 til 12 giga byte størrelse.

Aprpeciate nogen pointers.
Tak,
Radhika.

Bare en tanke.

Hvorfor ikke bruge den del og hersk strategi?

Vino

Det er ca 200KB / s. Pretty crap.
Jeg formoder, du gennemdrøfte swap?

En ting er at kontrollere, er, hvis du ikke behøver multibyte sortering,
Derefter prepend den slags kommando med LANG \u003d C

Lyder som om du har brug for en database (indeks) for at være ærlig.

Hvis output er en lille% af de input, så
eksplicit opdeling af input ville være gavnligt.
IE: mens sort-u luns | sort-u

Prøv denne her ...

sed '$! N; / ^ \ (.* \) \ n \ 1 $ /! P D'

# Den første linje i to eksemplarer dem er kun holdes, og resten er slettet.

Jeg har testet dette med omkring 1GB fil.

det tog ca 13 min for at sortere denne fil. Meget meget hurtigere end slags kommando.

Havn't forsøgt jeres sed. Men det gør ikke antage, at alle indgange er allerede sorteret og så det fjerner dubletter.

og / eller

Hvis filen er usorteret, så dobbelte poster baseret på første linje er fjernet. siden sed gør bare et enkelt gennemløb gennem filen.

Eller gjorde jeg det forkert?

vino

Hi Vino,

Denne kommando vil beholde den første indrejse, som den er, og slette de andre poster,

uanset om filen er sorteret eller ej.

Ingen forudgående forudsætninger, mens det udfører denne kommando.

Hi Amit,


>>
sed '$! N; / ^ \ (.* \) \ n \ 1 $ /! P D'

Kan du forklare kommando - lidt efter lidt, hvis du ikke har noget imod.

Tak!