やあ、

私のアプリケーション（実際のライブラリ）のインデックス数GBのテーブルの（配列の生産のファイルオフセットしてデータをインデックス化の長さ）への再利用。生産はかなりのテーブルも、私はメモリのように私のプロセス（ 3ギガバイトの制限） 、大きな大きな走りをしている時にファイルをインデックスに登録するかそこら以上の八ギガバイトしかし私は、メモリサイズの制限を回避するために別のプロセスをフォークが、このため、私のためにメモリを解放するためのファイルには、テーブルをダンプすると再インデックスは、同じファイルを回避したいのですがもっとこの問題を解決できないだろう1回以上。

クマの心には、現在、テーブル作成は、シングルリンクリストをメモリに保持されています、別のスレッドで共有データは、フィルタリングの別のリストを生成するために使う。だから私はむしろ、このスキーマを変更しないでください。一度ファイル全体がインデックスに登録されている他のスレッドのみがリストにアクセスできます。

さて、私は自分自身の質問に頼んでるんです：

-いつ、どのようにベストタイムをファイルには、テーブルをダンプするには？

私には非常に効率的な音がしていません完全にテーブルのダンプ。私は記憶に隠し事をしないか？ 、リンク先のリストは常に空になるのでしょうか？もし私のメモリのNのテーブルを維持し、決定するとダンプごとÑ 、どのようにしている多くのテーブルにどのようにチェックを起こさないようにする
メモリ内のすべてのサイクルは？

-誰がメタデータをダンプファイルを生成すべきか？別のスレッドですか？同じスレッドは、インデックスのデータですか？私も時のファイル処理をギガ（小さなファイルのメタデータファイルを生成する以下である場合） 、のようにしなかったが、私は、インデクサの複雑なコードは、したくないと同じ時期には、今非常に単純です：パースは、データを見つけるのエントリのテーブルを作成すると、それを追加します。もしテーブルがいっぱいですが、別の1つを作成し、リンクされたリストに追加します。

-の私はあなたに（感謝）の最善の方法私の場合（ ）内のメタデータのダンプ方法を考え出したと仮定します。ために、他のスレッドのようにどのような政策を私は、データの読み込みに使用する必要があります
根本的には、リンク先のリストを（例えば、働き方を変更することなく）は、インデックスデータのフィルタリングですか？

1つのソリューションは私の心に、それは私のスキーマでdrastical変更となることを避けるのインターフェイスを追加し、リストから要素を取得提供する"リストマネージャ"を作成することです。このエンティティ（のいずれかのスレッドやプロセス）のメモリの一部のデータを維持（ ）および他のいくつかのファイルのリストにリンクし治療をするのか。

私とあなたのスキルや経験を共有してください！ :-)

事前に感謝します。

よろしく、
sを

うわあ、いい質問です。再度のデータベースシステム工学はありますか？
ギガバイトの境界にわずかに満たない。実際、 256 KBのブロックも非常によく働いています。
場合は、別のスレッドでは、どのような点は何ですか？場合は、他のスレッドは、それをロックしているあなたにはメモリを解放することはできません。
私は、本当に一負う限りではないと思う、既存のソフトウェアアーキテクチャを知っている。

なし。私は同じようなアプリケーションを作成しようとしている可能性としては、テーブルのインデックスをダンプする必要がある場合、効率的で私もこの経験から学ぶことをしたいと思います。

256Kバイトのバッファをfwriteを実行するということですか。現在私は、リストがあるが、すべての要素（表） Ñエントリの配列を、 1泊4キロバイトの配列の合計サイズですから、私は一度に1つのfwriteで全てのテーブルをダンプします。

基本的に1つのスレッド（ 1 ）ファイルのインデックスは、テーブルを使用するための生産は、完了させるためには、別のスレッド（ 2 ）待って（これは私は記憶しておく）には、ファイル内のデータを処理するために使用します。この問題は、巨大なファイルをインデックスに登録される（ 〜仕様： 30GB ）と生産は4GB以上のメモリのプロセス毎の三ギガバイト（制限）そのためには、一点に保つことができない、または別の私は、データのダンプを生成してデータのファイルのためのメモリを開放する。

フラグに基づいて他のスレッド（ B ）を、いずれかのファイルまたはメモリ内のリストからテーブルを参照してください。

ご協力のおかげで、
sを

私は他の古い格言を引用するのに役立つソフトウェアを設計することはできません：

あなたは私のsqliteのテーブルのような開催のためのデータベースを使用する必要がありますどういう意味ですか？

データベースには、主にライターをお持ちの読者の比率はどのようにして、多くのユニークなインデックスの列に依存します。のsqlite ？大爆笑だ。私はMySQLまたはBerkelyDBのライン/ SleepyCat DBを考えていた以上に沿っています。

だから私は、データベースを使用するようになりたくない。仕事関係、および依存関係を、私の場合は（ IMHO ）価値がないとなりました。

私は、 1つ1つのリーダーライターがあります。

データを順次、変更されたと書かれていることはない。かつて、多くの書き込みを読んでください。

は、広告掲載の私は行くことに私の最善の方法だと考えていた場限りソリューションを提供します。

私はこの考えをあなたに感謝いたします。

ありがとう、
sを