PHPCrawl иногда возвращает пустую передачу

Question

Я использую класс PHPCrawl для размещения веб-сайтов и создания списка ссылок. Все работает хорошо, если медленно, а затем я использую ссылки для выполнения других задач.

У меня возникла проблема, когда в первый раз, когда я запускаю скрипт, он заканчивается без результата, тогда при следующем запуске он работает так, как ожидалось. Это происходит не в 30% случаев.

Сначала я подумал, что это проблема с сетью или рабочей станцией, но та же проблема возникает на другом компьютере в другом месте с использованием другого интернет-провайдера.

Кто-нибудь еще использовал этот класс и столкнулся с той же проблемой?

Answer 1

После обширного тестирования я обнаружил, что это похоже на настройку streamTimeout.

Проблема заключается в том, что установка слишком высокой приводит к очень медленному сканированию. Творение с connectionTimeout, кажется, немного опосредует это.