Hi,

meine Bewerbung (eigentlich Bibliothek) Indizes eine Datei von vielen GB Herstellung von Tabellen (Arrays von Offset und Länge der Daten indexiert) für die spätere Wiederverwendung. Die Tische sind ziemlich groß produziert auch so groß, dass ich lief aus der Erinnerung in meinem Prozess (3GB-Limit), bei der Indexierung mehr als 8 GB-Datei oder so. Obwohl ich könnte Gabel einem anderen Prozess zu arbeiten rund um den Speicher Größe begrenzen, würde dies das Problem nicht beheben, so möchte ich die Tabellen-Dump in eine Datei, um den Speicher, und vermeiden, wieder-Index die gleiche Datei mehr als einmal.

Beachten Sie, dass derzeit die Tabellen erzeugt werden in einem einzigen Speicher-Linked-Liste, gemeinsam mit einem anderen Thread, der sie zu einer anderen Liste der gefilterten Daten. Ich möchte lieber nicht diesem Schema. Die anderen Threads nur auf die Liste, wenn die gesamte Datei indiziert wurde.

Nun, die Fragen Ich frage mich, sind:

- Wann und wie ist es am besten Zeit für den Tabellen-Dump in eine Datei?

Dumping eine Tabelle, da sie voll klingt nicht sehr effizient zu mir. Würde ich nichts in Erinnerung? Die verlinkte Liste immer leer sein? Wenn ich mich entscheiden, um N-Tabellen im Speicher, und alle N-Dump, wie kann ich verhindern, dass eine Kontrolle, wie viele Tabellen habe ich
in den Speicher bei jedem Zyklus?

- Wer sollte Dump erzeugt, um die Metadaten-Datei? Verschiedenen Threads? Diese Thread-Index, dass die Daten? Ich möchte nicht, daß zur Herstellung von Metadaten-Dateien, wenn die Datei bearbeitet ist weniger als GIGA (kleine Datei Fall ist), aber gleichzeitig würde ich nicht wollen, die komplexen Code der Indexer, dass gerade jetzt ist ziemlich einfach: analysieren, die Daten, erstellen Sie einen Eintrag Tabelle, fügen Sie ihn hinzu. Wenn die Tabelle voll ist, eine andere ein und fügen Sie ihn auf der verlinkten Liste.

- Lassen Sie uns sagen, dass ich herausgefunden, (Dank an Sie) die beste Möglichkeit (in meinem Fall) zu dumpen der Metadaten. Was sollte ich verwenden, um die Daten, damit die anderen Threads
Filterung der Index-Daten, ohne tiefgreifende Veränderung der Weise, wie es funktioniert jetzt (z. B. durch die verlinkte Liste)?

Eine Lösung, die meiner Meinung nach, dass die Vermeidung einer drastical Veränderung in meinem Schema ist die Schaffung einer "List Manager", die eine Schnittstelle zum Hinzufügen und Abrufen von Element aus der Liste. Diese Einrichtung (entweder einen Thread oder einen Prozess) kümmern würde ein Teil der Daten im Speicher (verkettete Liste) und einigen anderen in der Datei.

Bitte teilen Sie mir mit Geschick und Erfahrung! :-)

Vielen Dank im Voraus.

Grüße,
S.