Эффективные инкрементные вставки в postgresql

Question

Я использую базу данных для представления списка файлов и некоторых метаданных, связанных с каждым из них. Мне нужно регулярно обновлять этот список файлов, добавляя только новые файлы и удаляя файлы, которые больше не существуют (я не должен касаться существующих строк в таблице, так как я потерял бы связанные метаданные).

Мои текущие запросы занимают всего несколько секунд, когда у меня около 10000 файлов, но за один час с моей текущей таблицей 150000 файлов.

После некоторых исследований в Интернете, я был следующий процесс:

1. заполнить таблицу "NewFiles" с результатами сканирования
2. DELETE FROM files WHERE path NOT IN (SELECT path FROM newfiles);
3. INSERT INTO files (SELECT * FROM newfiles WHERE path NOT IN (SELECT path FROM files));

У меня также есть показатели:

CREATE INDEX "files_path" ON "files" ("path"); 
CREATE INDEX "files_path_like" ON "files" ("path" varchar_pattern_ops); 
CREATE INDEX "files_path" ON "newfiles" ("path"); 
CREATE INDEX "files_path_like" ON "newfiles" ("path" varchar_pattern_ops); 

(Я в основном использую эти индексы для поиска в базе данных; у моего приложения есть поисковая система в файлах.)

Каждый из этих двух запросов занимает более одного часа, когда у меня есть 150000 файлов. Как я могу это оптимизировать?

спасибо.

Answer 1

Попробуйте NOT EXISTS вместо NOT IN, как:

DELETE FROM files WHERE NOT EXISTS 
    (SELECT 1 FROM newfiles WHERE newfiles.path=files.path); 

Кроме того, если newfiles заполняется каждый раз с нуля, убедитесь, что вы ANALYZE newfiles перед выдачей любого запроса, который использует его, так что оптимизатор может работать с хорошая статистика.

Если это не помогло, попробуйте EXPLAIN или EXPLAIN ANALYZE по вашим запросам, чтобы иметь план выполнения и добавить его в вопрос.