Hej,

min ansökan (faktiskt biblioteket) indexerar en fil av många GB producera tabeller (matriser av offset och längd på de data indexeras) för senare återanvändning. Tabellerna produceras är ganska stora också, så stor att jag körde slut på minne i min process (3 GB gränsen), då indexera mer än 8GB av ärende eller så. Även om jag kunde gaffelgrepp en process för att komma runt minnet begränsa storlek, det skulle inte lösa problemet, så jag vill dumpa tabellerna till en fil för att frigöra minnet, och undvika att på nytt index samma fil mer än en gång.

Tänk på att för närvarande, tabeller produceras hålls i minnet i en enda varvad lista, som delas med en annan tråd att använda det för att producera en lista med filtrerad information. Så jag vill helst inte ändra på detta schema. Den andra tråden bara åt listan när hela filen har indexerade.

Nu är de frågor jag ställer mig är:

- När och hur det är bästa tiden att dumpa tabellerna till en fil?

Dumpning ett bord så det blir full låter inte mycket effektivt för mig. Skulle jag hålla något i minnet? De länkade listan alltid skulle vara tom? Om jag bestämmer mig för att hålla N tabeller i minnet och dumpa alla N, hur kan jag undvika att göra en kontroll på hur många bord jag har
i minnet vid varje cykel?

- Vem ska dumpa metadata produceras till fil? Olika konversation? Samma tråd som index uppgifterna? Jag också skulle vilja producera metadata filer när ärendet behandlas är mindre än en Giga (liten fil fall), men samtidigt skulle jag inte vill komplexa koden till indexeraren, som just nu är ganska enkelt: analysera, hitta uppgifter, skapa en post tabellen, lägga till det. Om bordet är fullt, skapa en annan och lägga till den länkade listan.

- Låt oss säga att jag räknat ut (tack till er) det bästa sättet (i mitt fall) för att dumpa av metadata. Vad bör jag använda för att läsa in data för att låta den andra tråden
filtrering registerdata utan att radikalt förändra sitt sätt att arbeta nu (t.ex. genom den länkade listan)?

En lösning som kommer för mig att undvika en drastical förändring i mitt schema är att skapa en "list manager" som skulle ge ett gränssnitt för att lägga till och hämta element från listan. Denna enhet (antingen en konversation eller en process) skulle ta hand om att hålla vissa data i minnet (hör list) och några andra i filen.

Vänligen dela med mig din skicklighet och erfarenhet! :-)

Tack på förhand.

Hälsningar,
S.