Определить боты, используя access.log

Question

Могу ли я идентифицировать ботов надежно в режиме реального времени с помощью access.log Apache? Например, я заметил, что все боты (или, по крайней мере, большинство из них) работают одинаково с точки зрения доступа к странице: они не запрашивают ни CSS, ни JS-файлы. Не могла ли эта информация использоваться для их обнаружения? Насколько надежным будет этот метод и как я могу его достичь? (Я бы предпочел PHP)

Answer 1

Хотя не в реальном времени, this article может помочь вам автоматизировать идентификацию ботов с использованием сценариев оболочки.