Привет,

моя заявка (на самом деле библиотека) индекс файла многих ГБ производству таблиц (массивов компенсируется и длину данных индексируются) для последующего использования. В таблицах производства довольно слишком большой, так что большой, что я выбежал из моей памяти, в процессе (3GB предела), при индексации более 8GB файлов или около того. Хотя я мог бы еще вилки процессе работы вокруг ограничить размер памяти, это не будет решением этой проблемы, поэтому я хотел бы дамп таблицы в файл с тем, чтобы освободить память, а для избежания повторного индекс один и тот же файл более чем один раз.

Имейте в виду, что в настоящее время в таблицах производства хранятся в памяти в одном-связный список, совместно с другой нити, которые используют ее для производства другой список отфильтрованных данных. Так что я не хотите изменить эту схему. Другая нить только доступ в список после того, как весь файл был проиндексирован.

Теперь вопросы Я спрашиваю себя являются:

- Когда и как это лучшее время для дампа таблицы в файл?

Демпинг стол, как она получает полный звучит не очень эффективным для меня. Если я ничего не держать в памяти? Связанные списке всегда будет пуст? Если я решу продолжить N таблиц в памяти, и каждый дамп N, то как я могу избежать чек на сколько таблиц я
В памяти на каждом цикле?

- Кто должен дамп метаданных производства в файл? Различные нити? То же, что нить индексировать данные? Я также не хотел бы производить метаданные файлов, если файл обрабатывается меньше, то гига (небольшой файл случай), но в то же время я не хотел бы сложный код из индексатор, что сейчас довольно просто: разобрать, найти данные, создать запись таблицы, добавьте ее. Если таблица заполнена, создать еще один, и добавить его в список связано.

- Допустим, я понял, (спасибо вам) наилучшим образом (в моем случае) для дампа метаданных. Какую политику следует использовать для загрузки данных, с тем чтобы позволить другим нить
фильтровать данные индекса без радикального изменения образом это работает в настоящее время (например, через связано список)?

Одно из решений, которые, на мой взгляд, что бы избежать drastical изменений в моей схемы заключается в том, чтобы создать "список менеджера", который будет предоставлять интерфейс для добавления и извлечения элементов из списка. Этот орган (либо нить или процесс) будет заботиться о сохранении некоторых данных в памяти (связный список), и некоторых других в этом файле.

Пожалуйста, поделитесь со мной, Ваше мастерство и опыт! :-)

Спасибо заранее.

Привет,
С.