Jeg har søkt FAQ - ved hjelp av sort, duplikater, etc. ... men jeg fikk ikke noen av artiklene eller resultater på det.

For tiden bruker jeg:
sort-u fil1> fil2 å fjerne duplikater. For en filstørrelse på 1giga byte ca. Tiden det tar å fjerne duplikater er 1t 21 min.

Er det noen andre raskere måte å fjerne duplikater? Våre filstørrelser kan få 10 til 12 giga bytes størrelse.

Aprpeciate noen pekere.
Takk,
Radhika.

Bare en tanke.

Hvorfor ikke bruke splitt og hersk tilnærming?

Vino

Det er omtrent 200KB / s. Pretty crap.
Jeg antar du juling bytte?

En ting å sjekke er om du ikke trenger multibyte sortering,
Deretter setter den type kommandoen med LANG \u003d C

Høres ut som du trenger en database (indekser) for å være ærlig.

Hvis utdataene er en liten% av input, så
eksplisitt partisjonering inngangen ville være gunstig.
IE: mens sort-u blings | sort-u

Prøv denne ...

sed "$! N; / ^ \ (.* \) \ n \ 1 $ /! P; D '

# Den første linjen i duplikat de er bare oppbevares og resten slettes.

Jeg har testet dette med rundt 1GB-fil.

det tok ca 13 min å sortere denne filen. Mye mye raskere enn sort kommandoen.

Havn't forsøkt din sed. Men doesnt it anta at alle oppføringene allerede er sortert og så fjerner duplikater.

og / eller

Hvis filen er usortert, da doble oppføringer basert på første linje er fjernet. siden sed gjør bare ett pass gjennom filen.

Eller har jeg misforstått noe?

Vino

Hi Vino,

Denne kommandoen vil holde den første oppføringen som det er og slette de andre oppføringer,

uavhengig av om filen er sortert eller ikke.

Ingen tidligere antakelser mens kjøre denne kommandoen.

Hi Amit,


>>
sed "$! N; / ^ \ (.* \) \ n \ 1 $ /! P; D '

Kan du forklare kommandoen - litt etter litt hvis du ikke tankene.

Takk!