Dividir um arquivo com nenhum padrão - Split, Csplit, Awk

madhunk · #1 (**permalink**) 12-13-2007

Tenho passado por todas as threads no fórum e testou para fora coisas diferentes. Estou tentando dividir 3GB um arquivo em vários arquivos. Alguns arquivos são ainda maiores do que isso.

Por exemplo:

Código:

split -l 3000000 filename.txt

Isto é muito lento e ele divide o arquivo com 3 milhões de registros em cada arquivo. Mas gostaria de dar o número de arquivos como um parâmetro de saída e os nomes definidos pelo usuário e não xaa, xab, e assim por diante.

Também estou tentando awk e sei que vai ser muito rápido e simples. Eu li o fórum e eles estão todos dividir os arquivos em um padrão específico e que não requerem qualquer padrão.

Por favor, me dê sua opinião sobre este ..

Sorridente Dragão · #2 (**permalink**) 12-13-2007

Eu teria pensado dd seria uma escolha mais adequada para isso?

madhunk · #3 (**permalink**) 12-14-2007

Se você pode recomendar uma maneira rápida como awk, que seria muito apreciado. A divisão, tendo-se muito tempo.

jim McNAMARA · #4 (**permalink**) 12-14-2007

Se disco I / O que não é dividido "demasiado lento" tente awk. Mas você deve considerar que uma grande I / O pedido fila comprimento em que sistema de ficheiros é um provável candidato à lenta separação, em vez de dividir a ser um mau desempenho.
awk versão de split:

Código:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

radoulov · #5 (**permalink**) 12-14-2007

Outra abordagem - você pode passar vários argumentos e controlar os nomes de arquivos:

Código:

awk 'FNR == 1 { c = 1 }
{ close(FILENAME c-1)
	print > (FILENAME (!(FNR%30000000) ? ++c : c))
}'  file_1 file_2 ... file_n

ou:

Código:

awk 'FNR == 1 { c = 1 }
	      { print > (FILENAME c) }
!FNR%30000000 { close(FILENAME c); ++c }
' file_1 file_2 ... file_n

Utilize nawk / ou usr/xpg4/bin/awk no Solaris.

madhunk · #6 (**permalink**) 12-17-2007

Obrigado Radoulov ... Quando eu corria o seu código, ele está dizendo ficheiro1, ficheiro2 ou ficheiro3 não é encontrado. Parece que o código é supondo que estes são os ficheiros de entrada. No entanto, Jim's código está funcionando bem.

Todo o ambiente é em Windows. Mas estou usando MKS Tool Kit e invocando a executar comandos bash awk. Nunca trabalhei em Windows antes e não é muito agradável ..

DRL · #7 (**permalink**) 12-17-2007

Oi, Jim McNAMARA.

Citação:

Originally Posted by print "$ linhas linhas ler. \ n";

Se disco I / O que não é dividido "demasiado lento" tente awk. Mas você deve considerar que uma grande I / O pedido fila comprimento em que sistema de ficheiros é um provável candidato à lenta separação, em vez de dividir a ser um mau desempenho.
awk versão de split:

Código:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

O número em vermelho parece estar faltando um zero, sugerindo que a última parte do arquivo para além 60K (não 600K) acaba em smallfile3 ... cheers, DRL

Mais UNIX e Linux Fórum Tópicos Você pode achar Helpfull
Fio	Thread Starter	Fórum	Respostas	Última postagem
como dividir um arquivo	aarif	UNIX para Dummies Perguntas & Respostas	2	03-01-2008 03:36
Dividir arquivos usando Csplit	savitha	UNIX para Dummies Perguntas & Respostas	7	12-01-2007 11:55
Split File	mpang_	Programação Shell Script e	3	09-12-2006 09:37
Dividir um arquivo	Reza Nazarian	UNIX para Dummies Perguntas & Respostas	1	08-09-2006 07:01
múltipla padrão dividido em perl	umen	Programação Shell Script e	3	08-01-2006 03:43

Thread Tools	Pesquisar este Thread
Show Printable Version Enviar esta página	Pesquisar este Thread: Pesquisa Avançada
Display Modes	Esta taxa Thread
Mude para o Modo Linear Hybrid Mode Switch to Threaded Mode	Esta taxa Thread:


	Powered by