Параллельные HTTP-запросы в фоновом задании (sidekiq)?

Question

Я хочу проверить 50k RSS-каналы для обновлений. Прямо сейчас требуется -looong-, поэтому я начал изучать драгоценные камни, которые выполняют параллельные HTTP-запросы, например typhoeus, хотя sidekiq и typhoeus don't play well together.

Что такое хороший способ выполнения нескольких одновременных HTTP-запросов в фоновом режиме?

Answer 1

Взгляните на em-http-request - он работает поверх eventmachine, который является библиотекой для неблокирующего ввода-вывода.

Answer 2

https://github.com/httprb/http утверждает, что довольно быстро, но я не пробовал.