Я искал на часто задаваемые вопросы - с помощью сортировки, дубликатов и т.д. ... но я не получил каких-либо статей или результаты по нему.

В настоящее время я использую:
Сорт-U file1> file2 для удаления дубликатов. Для файла размером около 1giga байт. Время, необходимое для удаления дубликатов это 1 час 21 мин.

Есть ли какие-либо другие быстрый способ удаления дубликатов? Наши размеры файлов может получить от 10 до 12 гига байт размера.

Aprpeciate каких-либо указателей.
Спасибо,
Радхики.

Просто мысли.

Почему бы не использовать "разделяй и властвуй подход?

Вино

Это около 200Кб / с Pretty дерьма.
Полагаю, вы обмолот своп?

Одна вещь, чтобы проверить это, если вам не нужна многобайтовых сортировка,
Затем переменной рода команду LANG \u003d C

Похоже, вам потребуется база данных (индекс), которые будут честными.

Если вывод является небольшой% от вклада, а затем
прямо перегородки входные будет полезным.
IE: в то время как сорт-U кусок | сорт-U

Попробуйте это ...

SED '$! N; / ^ \ (.* \) \ N \ 1 $ /! P; D'

# Первая строка дублировать те только хранятся и остальные будут удалены.

Я испытал это около 1GB файл.

Он принял около 13 минут, что для сортировки файлов. Многое гораздо быстрее, чем сортировка команды.

Havn't пытались ваш SED. Но doesn't он предполагать, что все записи уже отсортированы и затем удаляет дубликаты.

и / или

Если файл несортированные, а затем дублировать записей основанных на первой линии удаляются. с тех пор, как SED делает только один проход через файл.

Или я получить его не так?

Вино

Привет Vino,

Эта команда будет первой позиции, как это и исключить другие записи,

независимо от того, файл отсортирован или нет.

Не ранее предположения при выполнении этой команды.

Привет Амит,


>>
SED '$! N; / ^ \ (.* \) \ N \ 1 $ /! P; D'

Не могли бы вы объяснить, в команде - постепенно, если вы не возражаете.

Спасибо!