Удаление загруженных файлов из Google, когда товар истекает

Question

Мы используем платный сервис Google CSE (Custom Search Engine) для индексации содержимого на нашем веб-сайте. Сайт построен в основном на PHP-страницах, которые собраны с включенными файлами, но есть некоторые динамические страницы, которые извлекают информацию из базы данных в один шаблон страницы (например, новые выпуски). Проблема заключается в том, что я могу установить дату истечения срока содержания в базе данных, поэтому скажем, что «id = 2» приведет к уведомлению «Это содержимое истекло». Однако, если в ID 2 был добавлен загруженный PDF-файл, файл PDF остается в индексе поиска.

Я знаю, что могу написать сценарий очистки и запустить cron, который смотрит на db, находит истекший контент, проверяет, были ли какие-либо загруженные файлы прикреплены и либо переименовывает, либо удаляет их, но должно быть лучше решение (надеюсь).

Пожалуйста, дайте мне знать, если вы столкнулись с этим в прошлом и что вы предлагаете.

Спасибо, D.

Answer 1

То, что мы в конечном итоге делаем завязывали чековый скрипт для сценария загрузки, что как только он завершил текущую загрузку, старые файлы были «несвязанным», а запись БД была удалены.

Для нас это работает, потому что это своего рода ситуация «добавьте один/удалить один», когда мы хотим, чтобы определенное количество элементов отображалось в скользящем порядке.

Answer 2

Там нет, к сожалению, нет возможности дать вам прямой ответ на этот раз: у нас нет никакого знания о том, как ваши PDF-файлы будут «прикреплены» к вашим страницам или как структурирована ваша БД.

Лучшим решением было бы создать файл robots.txt, который блокирует URL-адреса для определенных файлов PDF, которые вы хотите удалить. Google выведет их из индекса на следующий проход (обычно примерно через час).

http://www.robotstxt.org/