Реализация очереди на нескольких серверах redis

Question

Я пытаюсь создать очередь заданий с использованием двух главных серверов redis в двух зонах доступности EC2. Все операции LPUSH выполняются в прикладном уровне на обеих мастер-машинах в обоих AZ. В идеале я бы использовал GitHub's resque, но resque does not seem to have any notion нескольких мастеров в нескольких AZ.

Мне нужно обеспечить, чтобы только один работник работал над заданием. Некоторые работники будут в AZ 1A разговаривать с машиной redis в 1A, а некоторые будут в AZ 1B, разговаривая с машиной в 1B. Мне нужно избегать сценария, когда работник в 1A и один работник в 1B обе выполняют одну и ту же работу у разных мастеров redis и пытаются работать над ним одновременно.

Имеет ли этот рабочий псевдокод какие-либо условия гонки, которые я, возможно, пропустил?

job_id = master1.BRPOPLPUSH "queue", "working" 
m1lock = master1.SETNX "lock.#{job_id}" 
m2lock = master2.SETNX "lock.#{job_id}" 
completed = master1.ZSCORE "completed", job_id 

if completed 
    # must have been completed just now on other server, no-op 
    master1.LREM "working", 0, job_id 
    master1.del "lock.#{job_id}" 
    master2.del "lock.#{job_id}" 
elsif not m1lock or not m2lock 
    # other server is working on it? We will put back at the end of our queue 
    master1.LPUSH "queue", job_id 
    master1.LREM "working", 0, job_id 
    master1.del "lock.#{job_id}" if m1lock 
    master2.del "lock.#{job_id}" if m2lock 
else 
    # have a lock, it's not complete, so do work 
    do_work(job_id) 

    now = Time.now.to_i 
    master1.ZADD "completed", now, job_id 
    master2.ZADD "completed", now, job_id 

    master1.del "lock.#{job_id}" 
    master2.del "lock.#{job_id}" 

    master1.LREM "working", 0, job_id 
    master2.LREM "queue", 0, job_id # not strictly necessary b/c of "completed" 
end 

Answer 1

, что вы пытаетесь сделать, по сути, является мастер-мастер репликации, будь то очередь или что-нибудь еще, Redis не поддерживает его, и ваш псевдо-код имеет условия гонок. просто делает:

m1lock = master1.SETNX "lock.#{job_id}" 
m2lock = master2.SETNX "lock.#{job_id}" 

означает, другой работник может взять на себя работу в то время как вы делаете это, и две рабочие будут работать на него сразу. Я не думаю, что redis идеально подходит для вашего шаблона, и я не знаю сервера очередей, который может работать таким образом, но опять же, я не знаю многих таких серверов, поэтому я уверен, что есть.

Если вы загружаете баланс своей работы, так что только один мастер получает задание сразу, это возможно, но тогда у вас есть две очереди по существу, а не одна.

Answer 2

Мне любопытно ... если вы уже находитесь в среде AWS, почему бы вам не выбрать вместо этого сервис SQS Amazon? Я работал с ним в прошлом и понимаю, что это немного боль в заднице, но это самый зрелый сервис Amazon, и он предназначен для этого сценария.