Как избежать круговых ловушек бота в phpcrawl?

Как я могу избежать попадания в ловушку в круговых ловушках ссылок при использовании PHP-обхода?Как избежать круговых ловушек бота в phpcrawl?

источник

2015-12-17 Mehsan J.

Если вы храните URL-адрес, который вы посещали в каком-то массиве, вы можете сделать чек, чтобы проверить, был ли URL-адрес уже посещен, и если да, не нажимайте его еще раз.

источник

2015-12-17 04:24:14

Итак, нет встроенной функции для этого в phpcrawl? Я предполагаю, что использование массивов будет быстро исчерпывать память для больших сканирований, а затем, возможно, мне стоит перейти на более мощное программное обеспечение для сканирования в больших масштабах ... –

ОЗУ дешево (вообще говоря). При этом, может быть, полезно использовать http://php.net/SplFixedArray. http://stackoverflow.com/questions/10434913/accessing-big-arrays-in-php также читает об этом. Если у вас все в порядке с более длительным временем сканирования, вы можете даже использовать файловую систему и помещать каждый домен в файл, содержащий массив json, и загружать вещи таким образом. Это будет медленнее, но не будет интенсивным. –

Как избежать круговых ловушек бота в phpcrawl?

ответ

Смежные вопросы