Сплит файл без каких-либо назначения - Сплит, Csplit, Awk

madhunk · #1 (**Постоянная ссылка**) 12-13-2007

Я прошел через все нитей на форуме и испытаны различные вещи. Я пытаюсь разделить 3GB файл на несколько файлов. Некоторые файлы, даже больше, чем это.

Например:

Код:

split -l 3000000 filename.txt

Это очень медленно, и это разбивает файл с 3 млн. записей в каждом файле. Но я хотел бы указать число файлов в качестве параметра и вывода пользовательских имен файлов и не xaa, xab, и так далее.

Я также пытается AWK и я знаю, что это будет очень быстрым и простым. Я читаю форум и все они разделение файлов на конкретной модели и не требуют какого-либо шаблона.

Пожалуйста, дайте мне ваш вклад на этом ..

Улыбка дракона · #2 (**Постоянная ссылка**) 12-13-2007

Я бы мог подумать, дд будет более подходящим выбором для этого?

madhunk · #3 (**Постоянная ссылка**) 12-14-2007

Если вы можете порекомендовать быстро, как AWK, что было бы очень признателен. Раскол занимают много времени.

Джим Макнамара · #4 (**Постоянная ссылка**) 12-14-2007

Если дискового ввода / вывода не делает сплит "слишком медленно", а затем попробовать AWK. Но вы должны считать, что большая I / O запрос о длине очереди, что файловая система представляет собой вероятный кандидат для тихоходных разделение, а не раскол в плохой исполнитель.
AWK версия раскол:

Код:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

radoulov · #5 (**Постоянная ссылка**) 12-14-2007

Другой подход - вы можете передать несколько аргументов и контроля файлов:

Код:

awk 'FNR == 1 { c = 1 }
{ close(FILENAME c-1)
	print > (FILENAME (!(FNR%30000000) ? ++c : c))
}'  file_1 file_2 ... file_n

или:

Код:

awk 'FNR == 1 { c = 1 }
	      { print > (FILENAME c) }
!FNR%30000000 { close(FILENAME c); ++c }
' file_1 file_2 ... file_n

Использование nawk / или usr/xpg4/bin/awk на Solaris.

madhunk · #6 (**Постоянная ссылка**) 12-17-2007

Спасибо Radoulov ... Когда я побежал кода, он сказал file1, file2 и file3 не найдено. Кажется, этот код при условии, что эти входные файлы. Однако, Джим код работает прекрасно.

В целом обстановка на Windows. Но я использую МКС Набор и ссылающимся Баш оболочки для выполнения AWK. Никогда не работал в Windows, и, прежде чем он не совсем хорошо ..

ДРЛ · #7 (**Постоянная ссылка**) 12-17-2007

Привет, Джим Макнамара.

Цитата:

Первоначально Послано Версия для печати "$ линий строк читать. \ N";

Если дискового ввода / вывода не делает сплит "слишком медленно", а затем попробовать AWK. Но вы должны считать, что большая I / O запрос о длине очереди, что файловая система представляет собой вероятный кандидат для тихоходных разделение, а не раскол в плохой исполнитель.
AWK версия раскол:

Код:

awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

Цифра в красном, как представляется, отсутствует нулю, что свидетельствует о том, что последняя часть файла за 60K (не 600K) заканчивается на smallfile3 ... Cheers, ДХО

Подробнее UNIX и Linux Темы форума можно найти полезные
Нить	Резьба для начинающих	Форум	Ответы	Последнее сообщение
Как разделить файл	aarif	UNIX для чайников Вопросы И Ответы	2	03-01-2008 03:36 PM
Сплит-файлов с помощью Csplit	savitha	UNIX для чайников Вопросы И Ответы	7	12-01-2007 11:55 AM
Сплит файл	mpang_	Shell программирование и сценарии	3	09-12-2006 09:37 PM
Разделить файл	Реза Назарян	UNIX для чайников Вопросы И Ответы	1	08-09-2006 07:01 AM
несколько схема разделена на Perl	umen	Shell программирование и сценарии	3	08-01-2006 03:43 AM

Резьба Инструменты	Искать в этом Thread
Показать Версия для печати Email эта страница	Искать в этом Thread: Расширенный поиск
Режимы дисплея	Оценить эту ветку
Переход к линейной режим Гибридный режим Перейти на режим Нитевидный	Оценить эту ветку:


	Powered By