Лучший способ избежать выполнения/запросов (для веб-искателя)

Question

Я строю веб-гусеничный механизм. Он захватывает основную страницу, которая содержит около 50 ссылок. Затем мне нужно сделать 2 запроса для каждой ссылки. Я не хочу делать 101 запрос в течение нескольких секунд. Каков наилучший способ случайного размещения этих данных? Я хочу несколько подражать человеческой деятельности.

urls.each do |url| 
    # Do Something 
    sleep([1,2,3,4,5].sample) 
end 

Это будет работать, но лучше ли это сделать? Допустим, это занимает около 1 часа для запуска, будет ли сервер медленно реагировать, когда он спит?

Answer 1

Подражание человеческому поведению очень сложно. Это невозможно, если вы все равно запрашиваете буквально каждую ссылку на веб-сайте. Вероятно, я просто запрошу одну страницу в секунду. На сервер не будет влиять нить, которая в настоящее время спала.