Оптимизация потоков задач рейки Ruby

Question

У меня есть некоторые задачи рейка, которые нужно запускать каждый час примерно, каждый из них должен связаться с веб-сайтом, загрузить файл и импортировать файл в свой db.

Мне было интересно, какой лучший подход будет с точки зрения эффективности и скорости выполнения. Правильно ли, если я думаю, что создание потока для каждой задачи поможет мне немного времени? Поступая таким образом, я должен иметь возможность минимизировать время ожидания ответа сервера на самое медленное из потоков.

После загрузки файлов я думал об использовании gem "parallel" для импорта данных в db из больших файлов csv и xml.

Пожалуйста, дайте мне знать, если у вас есть предложения.

Answer 1

Когда количество таких файлов невелико, вам не нужно выполнять заказ и может позволить себе дополнительную память. Самое простое решение - просто запустить их в разных процессах cron (например, gem 'whenever').

Если вы более - использовать некоторые HTTP драгоценные камни для параллельной загрузки - typhoeus, curb, em-http-request и т.д.