Недавно я пытаюсь написать веб-паук, поэтому я нахожу несколько проектов о веб-пауке, написанных на PHP.php extension "PCNTL" подходит для веб-паук?
В этих проектах я обнаружил, что расширение «PCNTL» используется часто, но я не могу найти никаких подробных руководств или руководств об этом.
Итак, я хочу знать, подходит ли расширение «PCNTL» для паутины? Если нет, то каковы альтернативы.
«PCNTL» - это расширения с C-подобными функциями, связанными с процессом, в первую очередь fork.
Я не уверен, есть ли хорошие учебники, но вы можете проверить примеры C/C++, чтобы понять, как использовать эти функции PHP.
Несколько лет назад мы сделали веб-гусеничный манипулятор. Вместо fork мы использовали сценарий оболочки, который параллельно запускал 100 экземпляров искателя.
Другой альтернативой является curl-multi, но еще раз для этого недостаточно информации и учебников. Мы попробовали это, и мы не нашли его очень надежным, но я считаю, что вы должны его проверить.
Другой вариант - сделать это на Python - существует несколько различных программных библиотек, которые дают много возможностей.
Спасибо за ваш ответ и отредактируйте, я попробую сделать то, что вы упомянули в anwer, возможно, PHP не лучший способ для паука, я продолжу его изучать. Кроме того, это мой первый вопрос на этой платформе, и мой английский очень беден, я буду продолжать практиковать. В любом случае, спасибо большое. :) – Damon
Посмотрите мой ответ здесь: http://serverfault.com/questions/326290/most-efficient-time-cost-way-to-scrape-5-million-web-pages/538958 – Nick
голосование закрывается .. Это не вопрос. – Gogol
Вопрос хороший, но вопрос просят не очень хорошо. Я редактировал. – Nick