The UNIX and Linux Forums  

Go Back   UNIXおよびLinuxフォーラム > トップフォーラム > UNIXのダミー質問と回答のため
Googleのunix.com



UNIXのダミー質問と回答のため もしUNIXやLinuxについての質問があれば、ここに投稿してください。すべてのUNIXおよびLinux初心者歓迎!

その他のUNIXおよびLinuxフォーラムトピックは参考にすること
スレッド スレッドスターター フォーラム 返信 最後の投稿
どのようにファイルを分割する aarif UNIXのダミー質問と回答のため 2 2008年3月1日 03:36午後
を使用してファイルを分割Csplit savitha UNIXのダミー質問と回答のため 7 2007年12月1日 11:55午前
分割ファイル mpang_ シェルプログラミングとスクリプティング 3 2006年9月12日 09:37午後
分割ファイル レザNazarian UNIXのダミー質問と回答のため 1 2006年8月9日 07:01午前
perlの分割で、複数のパターン umen シェルプログラミングとスクリプティング 3 2006年8月1日 03:43午前

Closed Thread
English Japanese Spanish French German Portuguese Italian Dutch Swedish Russian Norwegian Hungarian Hebrew Danish Bulgarian Greek を搭載 Powered by Google
 
LinkBack スレッドツール このスレッドを検索 スレッドを評価 表示モード
  #1固定リンク)  
Old 2007年12月13日
madhunk madhunk is offline
登録ユーザー
  
 

参加日: 2005年11月
投稿: 91
分割のパターンファイルには、 -スプリット、 Csplit 、 Awkの

私は、フォーラム内のすべてのスレッドからなっていると違うことをテストした。私は三ギガバイトのファイルを複数のファイルに分割しようとしている。いくつかのファイルをこれよりも大きくなっています。

例えば:


コード:
split -l 3000000 filename.txt

これは非常にゆっくりとされており、各ファイルの3000000のレコードでファイルを分割します。しかし、私のパラメータと出力は、ユーザーの名前とはxaa 、 xabと定義されているので、ファイルのファイルの番号を指定していただきたいと思います。

私は、 Awkの試みですが、私は非常に高速され、簡単な知っている。私は、フォーラムを読むとは何かのパターンを特定のパターンを必要としないすべてのファイルと分割されています。

この..上で入力してください私を与える
  #2固定リンク)  
Old 2007年12月13日
Smiling Dragon's Avatar
ドラゴン笑顔 Smiling Dragon is offline Forum Advisor  
Disorganisedユーザ
  
 

参加日: 2007年11月
場所:ニュージーランド
投稿数: 922
私ならこれは、より適切な選択肢になるDDの考えですか?
  #3固定リンク)  
Old 2007年12月14日
madhunk madhunk is offline
登録ユーザー
  
 

参加日: 2005年11月
投稿: 91
Awkの場合のような高速な方法をお勧めできる、非常にいただければ幸いです。分割多くの時間を占めています。
  #4固定リンク)  
Old 2007年12月14日
ジムマクナマラ jim mcnamara is offline Forum Staff  
...@...
  
 

参加日: 2004年2月
場所: NM
投稿数:5805
もし、ディスクI "も遅い"として分割をしていないのAwk / Oのです。しかし、そのファイルシステムには、大きなI / O要求キューの長さを考慮する必要がありますゆっくりと分裂のための有力候補ではなく、分割されている悪い演奏している。
分割のAwkのバージョン:

コード:
awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile

  #5固定リンク)  
Old 2007年12月14日
radoulov's Avatar
radoulov radoulov is offline Forum Staff  
中毒
  
 

参加日: 2007年1月
場所: Варна 、 България /ミラノ、イタリア
投稿数:2926
もう一つのアプローチ-複数の引数を渡すことができ、ファイル名を管理:


コード:
awk 'FNR == 1 { c = 1 }
{ close(FILENAME c-1)
	print > (FILENAME (!(FNR%30000000) ? ++c : c))
}'  file_1 file_2 ... file_n

または:


コード:
awk 'FNR == 1 { c = 1 }
	      { print > (FILENAME c) }
!FNR%30000000 { close(FILENAME c); ++c }
' file_1 file_2 ... file_n


使用nawkまたは/ usr/xpg4/bin/awk Solaris上。

編集radoulovで最終; 2007年12月14日に 08:32午後..
  #6固定リンク)  
Old 2007年12月17日
madhunk madhunk is offline
登録ユーザー
  
 

参加日: 2005年11月
投稿: 91
Radoulovありがとう...私、またはファイル1 、ファイル2と言っているファイル3発見されない場合は、コードを走った。これは、コードのように、これらの入力ファイルとは想定している。しかし、ジムのコードが正常に動作しています。

全体の環境をWindows上でされています。しかし、私はawkはbashシェルを実行すると起動するMKS単位ツールキットを使用しています。決して前に、 Windows上で仕事をされていませんし、とてもいい..
  #7固定リンク)  
Old 2007年12月17日
drl's Avatar
drl drl is offline Forum Advisor  
登録ユーザー
  
 

参加日: 2007年4月
場所:サンパウロ、分アメリカ/ BSDのは、 CentOSのは、 Debianで、 OS X 、 Solarisの
投稿数: 717
こんにちは、ジムマクナマラ。
引用:
当初の投稿 印刷" $行の行を読んでください。 \ Ñ " ; View Post
もし、ディスクI "も遅い"として分割をしていないのAwk / Oのです。しかし、そのファイルシステムには、大きなI / O要求キューの長さを考慮する必要がありますゆっくりと分裂のための有力候補ではなく、分割されている悪い演奏している。
分割のAwkのバージョン:

コード:
awk ' {
          if(NR<300000) { print $0 > "smallfile1"}
          if (NR>300000 && NR < 600000) { print $0 > "smallfile2" }
          if (NR>60000) {print $0 > "smallfile3" }
       }'  bigfile
赤の部分は欠けているの数がゼロに、 60Kを超えてファイル( 600K )の最後の部分をsmallfile3の終了を示唆が表示されます...歓声、 drl
Closed Thread

ブックマーク

タグ
linuxの

スレッドツール このスレッドを検索
このスレッドを検索

高度な検索
表示モード このスレッド
このスレッド

投稿ルール
あなた ことができない。 新しいスレッドを投稿
あなた ことができない。 返信の投稿
あなた ことができない。 添付ファイルの投稿
あなた ことができない。 自分の投稿を編集

BBコード なる 〜の上に
スマイリー なる 〜の上に
[イメージ] コードは 〜の上に
HTMLコードは、 オフ
トラックバック なる 〜の上に
ピングバック なる 〜の上に
Refbacks なる 〜の上に




すべてGMT -4です。現在の時刻は 09:49午前


提供: vBulletin、著作権© 2000 - 2006、Jelsoft企業株式会社。言語翻訳による電源
vBCredits v1.4著作権© 2007 - 2008 、 PixelFXスタジオ
は、 UNIXおよびLinuxフォーラムのコンテンツ著作権© 1993 〜 2009 。すべての権利を管理しReserved.Ad RedTyger

コンテンツ関連のURLで vBSEO 3.2.0