Дросселирование исходящих вызовов API, созданных приложением Rails

Question

Я не профессиональный веб-разработчик, но мне нравится галстук на сайтах как хобби. Недавно я играл с разработкой приложения Rails в качестве проекта, чтобы помочь мне изучить структуру. Цель моего игрушечного приложения - собрать данные из другой службы через их API и сделать ее доступной для меня, чтобы запросить функцию поиска.

Однако служба, которую я хочу извлечь данные, налагает ограничение скорости на количество вызовов API, которые могут выполняться в минуту. Я планирую, что мое приложение запускает ежедневное обновление, которое может генерировать пакет вызовов API, который намного превышает лимит, предоставляемый внешней службой. Я хочу уважать производительность внешнего сайта и поэтому хотел бы снизить скорость, с которой мое приложение выполняет вызовы.

Я сделал немного поиска и подавляющее количество учебника материалов и готовых библиотек я нашел крышку дросселирования входящие API вызовы в веб-приложение, и я могу найти небольшое обсуждение управления потоком исходящих звонки.

Будучи и любительским веб-разработчиком, и новичком-рельсами, вполне возможно, что я выполнял неправильные запросы в неправильных местах. Поэтому мои вопросы:

• Есть хороший сайт там агрегирование Rails учебников, которые материалы, связанные с дросселированием исходящих запросов API?

• Есть ли какие-либо рубиновые камни или другие библиотеки, которые помогут мне разобраться в запросах?

У меня есть некоторые идеи о том, как я мог бы идти о написании системы дросселирования с помощью работнику на основе очередей, как DelayedJob или Resque для управления вызовами API, но я предпочел бы провести свои выходные строительства остальной части сайта если там уже есть готовое решение.

Answer 1

Причина, по которой никто не говорит об исходящем дросселировании, состоит в том, что это обычно довольно тривиально, так как вы управляете им. Управление пропускной способностью может быть немного сложнее, но контроль количества запросов?

ri Kernel#sleep 

Так что, если вы позволили 10 API вызовов в минуту вы просто спать (6) после каждого вызова

Answer 2

Попробуйте использовать Nginx в качестве прокси-сервера: http://codetunes.com/2011/07/26/outbound-api-rate-limits-the-nginx-way.

Если вы находитесь на геройку, подумайте об использовании драгоценного камня Slow Web.

Answer 3

На данный момент есть драгоценный камень: throttle-queue. Он берет блок кода и гарантирует, что он будет выполняться только x раз в секунду. Это пример, взятый из Readme, который будет извлекать только три файла в секунду:

require 'throttle-queue' 

q = ThrottleQueue.new 3 
files.each {|file| 
    q.background(file) { 
     fetch file 
    } 
}