2011-02-10 2 views
0

Я запускаю поисковый робот, который постоянно загружает кучу веб-сайтов. Пропускная способность не является проблемой. Существует ли стандартный максимум для параллельных загрузок? Или способ определить, сколько URL-адресов я могу загрузить без угрозы времени безотказной работы сервера?Как определить оптимальное количество параллельных загрузок с помощью mult_curl?

EDIT: Я имею в виду использование ресурсов на моем сервере. Список загрузок предназначен для облегчения загрузки на удаленных серверах.

ответ

1

Большинство браузеров выполняют 2-5 параллельных запросов на сервер. Это довольно разумный диапазон, но пойдите с 2, если вы действительно хотите быть в безопасности. В конечном итоге влияние на сервер зависит от слишком большого количества переменных (скорость сервера, память, пропускная способность, динамический код, запросы в секунду, ...), чтобы дать точный ответ.

ОБНОВЛЕНИЕ: Спасибо за разъяснение вопроса. Я не думаю, что кто-нибудь может дать вам ответ. Предполагая, что у вас действительно ограниченная пропускная способность, количество факторов, определяющих вашу безопасную нагрузку, по-прежнему массово изменчиво. Вы даже не обсуждали, что делает ваш скрипт с загруженным контентом. Если он сохраняет прямо на диск, ваш лимит будет где-то в вашей системе ввода-вывода, и производительность этого зависит от всех вещей, о которых я говорил выше. Поскольку на ваш вопрос нельзя ответить, и может ли он принадлежать серверу ServerFault, так как это действительно вопрос об оптимизации и контроле нагрузки ввода-вывода.

Короткий ответ: Нет, нет официального или неформального стандарта для максимальной загрузки в отношении клиентской машины, и единственный способ понять это - попробовать различные ограничения и контролировать нагрузку.

+0

Ваш ответ не связан с вопросом. – HyderA

+0

, тогда вы задаете вопрос не так ясно, как вы думаете. Вы спрашиваете, что такое «стандартный максимум для параллельных загрузок». Я только что тебе сказал. Тот факт, что вы используете mult_curl, не имеет значения. Возможно, вам нужно уточнить, что вы говорите о своем сервере или их. В общем, вы будете сбивать свой сервер задолго до того, как вы соберете свой собственный, особенно если контент динамически генерируется. – SpliFF

+0

Это не имеет значения, поскольку ограничения браузера реализованы для оптимизации ресурсов на клиенте, а не на сервере. Но вы правы в том, что мне нужно уточнить, ссылаюсь ли я на свой сервер на удаленных серверах. Я обновлю вопрос – HyderA

Смежные вопросы