Лучший способ проверить, было ли изменено содержимое страницы?

Question

У меня есть искатель, который сканирует сотни тысяч страниц и индексирует/анализирует содержимое страницы, и одна вещь, с которой я борюсь, - это проверить, был ли контент страницы обновлен эффективным способом без необходимо выполнить сканирование и проверить содержимое страницы.

Очевидно, что я мог бы просто загрузить всю страницу и повторно проанализировать все и сравнить все с тем, что я хранил в своей базе данных. Однако это очень неэффективно и использует множество вычислений, что приводит к высоким хостинговым счетам.

Я думаю о сравнении хэшей, проблема в том, что если страница изменила один байт или символ, хеш будет другим. Так, например, если страница отображает текущую дату на странице, каждый раз хеш будет отличаться и скажите мне, что контент обновлен.

Итак ... Как вы это сделаете? Посмотрите на размер kb для HTML? Посмотрите на длину строки и проверьте, изменилась ли, например, длина более 5%, контент был «изменен»? Или есть какой-то алгоритм хэширования, где хэши остаются такими же, если изменены только небольшие части строки/содержимого?

Answer 1

Вы можете попробовать и использовать значение, содержащееся в заголовке «last-mofidied» в ответе от сервера. Размышление об этом в хороший объект позволит проводить простые сравнения дат, позволяя вам проверить, следует ли перерисовывать. Например (в Python с использованием блестящей requests библиотеки:?.

import requests 
r = requests.get('http://en.wikipedia.org/wiki/Monty_Python') 
site_last_modified_date = r.headers["Last-Modified"] 

# from here, just parse the date and compare it with the last recorded date