php web crawler breaks, заканчивается лимит времени?

Question

Я пишу веб-приложение PHP, чтобы делать статистику по нескольким (на самом деле длинному списку) страниц Facebook. Я настраивал искателя для сбора данных для всех страниц из Facebook каждый день, чтобы данные всегда обновлялись в локальных базах данных.

Проблема в том, что иногда искатель неожиданно ломается. Причин, которые я угадываю, являются: 1) истечение срока действия сервера 2) слишком долго ждать данных без какого-либо ответа и убить

У вас есть предложения по устранению этой проблемы? Большое спасибо!!

Answer 1

Вы должны начать с увеличения переменной max_execution_time в php.ini. Посмотрите, решит ли это вашу проблему. Если проблема связана с Facebook или любым другим веб-сервером вне вашего контроля, вы не можете многое сделать.

* Отказ от ответственности: Это все при условии, что ваш код является действительным, и не находит себя в какой-то бесконечный цикл по случаю ...

Answer 2

Попробуйте добавить

set_time_limit (0); 

в начале сценария ,