Как отправить максимальное возможное количество запросов GET с помощью NodeJS?

Question

Моя задача - отправить как можно больше запросов GET, используя стандартные nodejs http module (с http.get) на удаленный сервер (для импорта данных, а не DDOS :)). Но после того, как определенное количество запросов отправки останавливается или идет очень медленно.

Я уже установил значение http.globalAgent.maxSockets = Infinity, req.setNoDelay(true); и req.setSocketKeepAlive(true);. Также я делаю запросы в async queue с 10-1000 параллелизмом, и это влияет на количество подключений, отправленных на остановку. Я увеличил максимум ulimit -n.

Есть ли у кого-нибудь совет или подобный опыт? Может, я что-то не так?

Answer 1

См мои соответствующие вопросы узлов на GitHub и Stackoverflow

Может быть, мой обходной путь описанный там работает для вас тоже. Вместо изменения globalAgent я отключил его.