Ik heb door alle threads in het forum en getest op verschillende dingen. Ik probeer op te splitsen een 3GB bestand in meerdere bestanden. Sommige bestanden zijn zelfs groter dan dit.

Bijvoorbeeld:

split -l 3000000 filename.txt

Ik zou hebben gedacht dd zou een meer geschikte keuze voor dit?

Als u kunt raden een snelle manier zoals awk, dat zou heel erg gewaardeerd. De splitsing toegang tot een hoop tijd.

Als disk i / o is niet te splitsen "te langzaam", probeer dan awk. Maar je zou moeten overwegen dat een grote I / O-verzoek wachtrij lengte over dit bestandssysteem is een waarschijnlijke kandidaat voor trage splitsing, in plaats van splitsing een slechte performer.
awk versie van splitsen:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

Een andere benadering - kunt u meerdere argumenten en de bestandsnamen:

awk 'FNR == 1 { c = 1 }
{ close(FILENAME c-1)
	print > (FILENAME (!(FNR%30000000) ? ++c : c))
}'  file_1 file_2 ... file_n

awk 'FNR == 1 { c = 1 }
	      { print > (FILENAME c) }
!FNR%30000000 { close(FILENAME c); ++c }
' file_1 file_2 ... file_n

Dank u Radoulov ... Toen ik liep uw code, het is te zeggen bestand1, bestand2 en bestand3 is niet gevonden. Het lijkt alsof de code is de veronderstelling dat dat zijn de input-bestanden. Echter, Jim de code werkt prima.

De hele omgeving is op Windows. Maar ik gebruik MKS tool kit en het inroepen van bash shell te voeren awk. Nooit gewerkt op Windows voor en het is niet heel mooi ..

Hoi, Jim McNamara.
Het aantal in het rood lijkt te ontbreken een nul, wat erop wijst dat het laatste deel van het bestand dan 60K (niet 600K) eindigt op smallfile3 ... cheers, DRL