Hei,

min søknad (faktisk bibliotek) indekserer en fil av mange GB produsere tabeller (arrays av offset og lengden av dataene indeksert) for senere gjenbruk. Tabellene produseres er ganske stor også, så store at jeg gikk tom for minne i min prosess (3 GB-grensen), når vi indekserer mer enn 8 GB på fil eller så. Selv om jeg kunne gaffel en annen prosess for å omgå minnet begrense størrelsen, dette vil ikke løse problemet, så jeg vil dumpe tabeller til en fil for å frigjøre minne, og unngå å re-indeksen den samme filen mer enn én gang.

Husk at det foreløpig tabellene produseres lagres i minnet i en enkelt-linket liste, som deles med en annen tråd som brukes til å produsere en ny liste over filtrerte data. Jeg vil derfor heller ikke endre dette skjemaet. Den andre tråden bare tilgang til listen når hele filen er indeksert.

Nå er det spørsmål jeg spør meg selv er:

- Når og hvor det er enklest å dumpe tabeller til en fil?

Dumping et bord som det blir full ikke høres veldig effektivt for meg. Ville jeg ha noe i minnet? Det knyttet listen vil alltid være tom? Hvis jeg velger å beholde N tabeller i minnet, og dumpe alle N, hvordan kan jeg unngå å foreta en sjekk på hvor mange tabellene jeg har
i minnet til hver syklus?

- Hvem bør dumpe metadata produsert til fil? Annen tråd? Samme tråd som indekserer data? Jeg ville ikke like å produsere metadata filer når filen behandles er mindre enn en GIGA (liten fil tilfellet), men samtidig ville jeg ikke vil kompleks kode indeksereren, som akkurat nå er ganske enkelt: parse finne dataene, oppretter du en oppføring bordet, legge den til. Hvis bordet er fullt, opprette en ny og legge den til den koblede listen.

- La oss si jeg funnet ut (takk til deg) den beste måten (i mitt tilfelle) til å dumpe metadata. Hvilke retningslinjer bør jeg bruke for å laste inn data for å la den andre tråden
filtreringsteknikker indeksen uten en radikal endring i måten den fungerer nå (f.eks gjennom knyttet liste)?

En løsning som kommer til meg, ville unngå en drastical endre i mitt skjema er å lage en "liste", som ville gi et grensesnitt for å legge til og hente element fra listen. Denne enhet (enten en tråd eller en prosess) ville ta seg av å holde noen data i minne (lenket liste) og noen andre i filen.

Vær dele med meg dine ferdigheter og erfaringer! :-)

Takk på forhånd.

Hilsen,
S.