Oi,

o meu pedido (na verdade biblioteca) indexa um arquivo de muitos GB produzir tabelas (arrays de offset e comprimento dos dados indexados) para posterior reutilização. Os quadros produzidos são demasiado grande, tão grande que eu corri para fora de memória no meu processo (3GB limite), quando indexando mais de 8 GB de arquivo ou mais. Embora eu poderia garfo outro processo de trabalho em torno da memória limite tamanho, isso não corrigir o problema, então eu gostaria de despejar os quadros de um arquivo, a fim de libertar a memória, e evitar a re-index o mesmo arquivo mais do que uma vez.

Tenha em mente que, actualmente, os quadros produzidos são mantidos em memória em uma única lista vinculada, partilhada com outro thread que usá-lo para produzir uma outra lista de dados filtrados. Então eu prefiro não mudar este esquema. A outra discussão só acessar a lista, uma vez todo o arquivo foi indexado.

Agora, as perguntas estou perguntando mim são:

- Quando e como é que o melhor tempo para despejar as tabelas para um arquivo?

Dumping uma tabela que seja pleno não soar muito eficiente para mim. Queres que eu ficava nada na memória? A lista seria sempre ligada vazio? Se eu decidir manter N tabelas em memória, e cada despejo N, como faço para evitar fazer uma verificação para quantos quadros eu tenho
na memória em cada ciclo?

- Quem deve despejar os metadados produzidos para arquivo? Diferentes discussão? Mesma discussão que o índice de dados? Eu também não gostaria de produzir metadados arquivos quando o arquivo é menor, então transformado um giga (pequeno arquivo caso), mas, ao mesmo tempo, não queria que a complexidade do código do indexador, que agora é bastante simples: analisar, encontrar os dados, criar uma entrada tabela, adicioná-lo. Se a tabela está cheia, crie um outro e adicioná-lo à lista vinculada.

- Digamos que eu descobri (graças a você), o melhor caminho (no meu caso) para despejar os metadados. Que política é que devo usar para carregar os dados, a fim de deixar os outros discussão
filtragem dos dados do índice, sem mudar radicalmente a forma como ele funciona agora (por exemplo, através da lista ligada)?

Uma solução que me vêm à mente, que poderia evitar uma mudança na minha drastical esquema é o de criar uma "lista gerente", que fornecem uma interface para adicionar e retirar elemento da lista. Esta entidade (quer uma discussão ou um processo) que cuidam de manter alguns dados em memória (lista ligada) e alguns outros no arquivo.

Por favor, compartilhe-me com a sua habilidade e experiência! :-)

Thanks in advance.

Atenciosamente,
S.