Salve,

la mia domanda (in realtà biblioteca) gli indici di un file di molti GB produrre tabelle (array di offset e lunghezza dei dati indicizzati) per poi riutilizzarli. Le tabelle prodotte sono anche piuttosto grandi, così grande che ho corse di memoria nel mio processo (3GB limite), quando più di 8GB di indicizzazione di file o così. Anche se ho potuto forcella un altro processo per aggirare il limite di dimensione della memoria, ciò non risolve il problema, quindi mi piacerebbe scaricare le tabelle in un file, al fine di liberare la memoria, e per evitare di indicizzare nuovamente lo stesso file più di una volta.

Tenete presente che attualmente, le tabelle sono mantenute in memoria in una singola lista, condivisa con un altro thread che lo utilizzano per la produzione di un altro elenco di dati filtrati. Quindi preferisco non cambiare questo schema. L'altro thread solo l'elenco di accesso una volta che l'intero file è stato indicizzato.

Ora, le domande mi chiedo io sono:

- Quando e come il momento migliore per scaricare le tabelle di un file?

Una tabella di dumping in quanto non si completa il suono molto efficace per me. Io non tenere in memoria? La lista sarebbe sempre vuoto? Se si decide di tenere in memoria le tabelle N, N ogni discarica e, come faccio a evitare di fare un controllo per il numero di tabelle che ho
in memoria a ogni ciclo?

- Chi dovrebbe scaricare il file di metadati prodotto? Differenti thread? Stesso thread che indice i dati? Ho anche non vorrebbe produrre metadati dei file quando il file è trasformato meno di un giga (piccoli file di causa), ma allo stesso tempo non vorrei che a quelli più complessi, il codice del indicizzatore, che in questo momento è piuttosto semplice: analizzare, ricercare i dati, creare una voce da tavola, aggiungerlo. Se la tabella è piena, è necessario creare un altro e aggiungerlo alla lista.

- Diciamo che ho capito (grazie a te) il modo migliore (nel mio caso) per il dump dei metadati. Quale politica dovrebbe usare per caricare i dati in modo da lasciare gli altri thread
filtraggio dei dati senza l'indice radicalmente cambiando il modo in cui funziona ora (ad esempio attraverso la lista)?

Una soluzione che a mio avviso, che permetterebbe di evitare uno ali cambiamento nel mio schema è quello di creare una "lista manager" che fornisce una interfaccia per aggiungere e recuperare elemento dalla lista. Questo soggetto (o di un thread o un processo) avrà cura di conservare alcuni dati in memoria (lista) e qualche altro nel file.

Si prega di condividere con me le tue capacità e l'esperienza! :-)

Grazie in anticipo.

Saluti,
S.