Как сделать длинный скрипт PHP быстрее?

Question

У меня есть задача обходить 100000 URL-адресов и сохранять данные на листе excel & хранить изображения в отдельных каталогах, я написал скрипт с использованием Simple HTML DOM и PHP Excel, он обрабатывает 4-URL-адреса за 1 минуту, но постепенно замедляется со временем проходит больше & больше.

Я хочу сделать это быстрее. Я использую подход ООП и разделяю различные дочерние процессы на небольшие функции, что также помогает мне сохранять переменную свободной от памяти. Я использую локальные ресурсы XAMPP в Windows.

Пожалуйста, дайте мне знать, как ускорить выполнение, чтобы сделать больше & за меньшее время.

Спасибо.

Answer 1

Ваше ограничение в узком месте, вероятно, будет латентностью сети, если вы запустите локальный, как вы сказали. Ваш процесс будет ждать ответа, прежде чем он сможет перейти к следующему URL-адресу. Чтобы максимально использовать локальное сетевое соединение, вы можете одновременно запускать несколько процессов.

Я не уверен, что это то, что вы имели в виду с «дочерним процессом», но вы можете делать многопоточность в php (see question). Или просто запустите свой php-скрипт несколько раз в командной строке с частью рабочей нагрузки.

Если сеть по-прежнему является узким местом, вы можете рассмотреть возможность оплаты за сервер, который имеет лучшую производительность сети. И, конечно, когда процессор становится узким местом, вам нужен лучший сервер для повышения производительности;)

Это не стоит ожидать, что он будет работать только на одном сервере.