Dela en fil med något mönster - Split, Csplit, awk

madhunk · #1 (**permalänk**) 12-13-2007

Jag har gått igenom alla trådar i forumet och provade ut olika saker. Jag försöker att dela upp en 3 GB-filen i flera filer. Vissa filer är ännu större än så.

Till exempel:

Kod:

split -l 3000000 filename.txt

Detta är mycket långsam och det delar upp filen med 3 miljoner poster i varje fil. Men jag skulle vilja ge hur många filer som en parameter och output den användardefinierade filnamn och inte xaa, xab och så vidare.

Jag är också försöker awk och jag vet att det kommer att vara mycket snabb och enkel. Jag läser forum och de är alla en delning av filer på ett visst mönster, och jag kräver inte något mönster.

Kan du ge mig dina synpunkter på detta ..

Smiling Dragon · #2 (**permalänk**) 12-13-2007

Jag trodde dd skulle vara ett lämpligare val för detta?

madhunk · #3 (**permalänk**) 12-14-2007

Om du kan rekommendera ett snabbt sätt vilja awk, som skulle vara mycket uppskattat. Uppdelningen som tar upp mycket tid.

jim McNamara · #4 (**permalänk**) 12-14-2007

Om disk i / o inte gör split "för långsam" och sedan försöka awk. Men du bör tänka på att en stor I / O-begäran kö längden på att filsystemet är en trolig kandidat för långsam delning, i stället för split är en dålig artist.
awk version av Rastiväli:

Kod:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

radoulov · #5 (**permalänk**) 12-14-2007

En annan metod - du kan skicka flera argument och styra filnamn:

Kod:

awk 'FNR == 1 { c = 1 }
{ close(FILENAME c-1)
	print > (FILENAME (!(FNR%30000000) ? ++c : c))
}'  file_1 file_2 ... file_n

eller:

Kod:

awk 'FNR == 1 { c = 1 }
	      { print > (FILENAME c) }
!FNR%30000000 { close(FILENAME c); ++c }
' file_1 file_2 ... file_n

Använd nawk eller / usr/xpg4/bin/awk på Solaris.

madhunk · #6 (**permalänk**) 12-17-2007

Tack Radoulov ... När jag körde din kod är det självklart fil1, fil2 eller fil3 inte hittas. Det verkar som koden utgår från att de är indatafilerna. Men Jim kod fungerar bra.

Hela miljön är i Windows. Men jag använder MKS Verktygssats och åberopar bash shell att verkställa awk. Aldrig arbetat med Windows innan och det är inte riktigt trevligt ..

varselljus · #7 (**permalänk**) 12-17-2007

Hej, Jim McNamara.

Citat:

Ursprungligen postat av print "$ rader rader läsa. \ n";

Om disk i / o inte gör split "för långsam" och sedan försöka awk. Men du bör tänka på att en stor I / O-begäran kö längden på att filsystemet är en trolig kandidat för långsam delning, i stället för split är en dålig artist.
awk version av Rastiväli:

Kod:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

Antalet i rött verkar saknas en noll, vilket tyder på att den sista delen av fil efter 60k (inte 600K) hamnar på smallfile3 ... Skål, varselljus

Mer UNIX och Linux Forum Ämnen Du kan hitta Helpful
Tråd	Thread Starter	Forum	Svar	Senaste Inlägg
hur man kan dela upp en fil	aarif	UNIX for Dummies Frågor & Svar	2	03-01-2008 03:36
Dela filer med Csplit	savitha	UNIX for Dummies Frågor & Svar	7	12-01-2007 11:55
Delad fil	mpang_	Shell-programmering och Skript	3	09-12-2006 09:37
Dela en fil	Reza Nazarian	UNIX for Dummies Frågor & Svar	1	08-09-2006 07:01
flera mönster uppdelad i perl	umen	Shell-programmering och Skript	3	08-01-2006 03:43

Thread Tools	Sök i denna tråd
Visa Utskriftsversion Mejla den här sidan	Sök i denna tråd: Avancerad sökning
Visningslägen	Betygsätt denna tråd
Switch to Linear Mode Hybridläge Switch to Gängade Mode	Betygsätt denna tråd:


	Powered by