Рамка работает для очереди заданий распределенного планирования для высокого масштаба

Question

Мне нужно создать систему, для которой требуется не менее ста тысяч заданий, созданных/запланированных на день. Я посмотрел на несколько очередей задач, но там не так много поддержки для планирования говорят, как кварц в распределенным образом, Хорошее решение, кажется, сельдерей (я ява парень, и я не могу использовать Python),

Akka (Это похоже на хорошее решение, масштабируемое, постоянное и т. Д., Но планирование похоже ограничено, так как мне нужно запланировать 1 000 000 заданий в разное время дня в соответствии с пользовательским запросом) .new to akka, пожалуйста, поправьте меня, если я неправильно.

Мне не нужны и распределенные блокировки для планирования, а мне нужен параллелизм в асинхронном режиме. Пожалуйста, предложите альтернативы. Открыть для scala/java/javascript как язык.

Кварц не является масштабируемым (есть некоторые серьезные ограничения), я должен отправить около 300 миллионов сообщений в день, которые будут доставлены через 1.00.000 рабочих мест

Answer 1

Если вы беспокоитесь о точности планировщика Акко , как только я оказался в той же ситуации, и я скажу вам свое решение. Может быть, есть более эффективные методы для такого рода сценариев, но эта работа хорошо работала для меня. Буду признателен за любые улучшения и предложения. Вместо того, чтобы планировать работу в течение очень длительных интервалов времени, я создал роль планировщика, который отправляет тики себе, чтобы знать, когда должна выполняться работа. Предположим, вы хотите запланировать некоторую работу с даты A до настоящего времени B и выполнить ее каждые T единиц времени (от миллисекунд до нескольких лет). Тогда то, что делает мой актер, - это планирование (с использованием обычного планировщика Akka) одним тиком точно в половине интервала между текущим временем и временем, когда он должен выполнить первую работу. Это в основном как двоичный поиск. Таким образом, актер не будет постоянно гадать и будет очень точным в выполнении работы в нужное время. Смотрите код Java ниже для получения дополнительной информации:

public class WorkScheduler extends UntypedActor { 

    public static Props props(final Date from, final Date to, final long every, final TimeUnit unit) { 
     return Props.create(new Creator<WorkScheduler>() { 
      private static final long serialVersionUID = 1L; 

      @Override 
      public WorkScheduler create() throws Exception { 
       return new WorkScheduler(from, to, every, unit); 
      } 
     }); 
    } 

    // Thresholds to avoid ticking at very long (or very short) intervals 
    private static final long MIN_TICK_DELTA = 1000 // 1 sec. 
    private static final long MAX_TICK_DELTA = 21600000 // 6 hours 

    private class Tick extends Message { 
    } 

    private long from; 
    private long to; 
    private long dt; 
    private long checkpoint; 

    public WorkScheduler(Date from, Date to, long every, TimeUnit unit) { 
     this.from = from.getTime(); 
     this.to = to.getTime(); 
     this.dt = unit.toMillis(every); 
    } 

    @Override 
    public void preStart() throws Exception { 
     scheduleNextTick(); // The first tick 
    } 

    private void scheduleNextTick() { 
     long t = new Date().getTime(); 

     // Compute next checkpoint 
     if (t < from) { 
      checkpoint = from; 
     } else { 
      long k = (t - from)/dt; 
      if ((t - from) % dt != 0) ++k; 
      checkpoint = from + k * dt; 
     } 

     if (checkpoint > to) { // All works executed. Shutdown. 
      getContext().stop(self()); 
     } else { // Schedule next tick 
      long delta = Math.max(MIN_TICK_DELTA, Math.min((checkpoint - t)/2, MAX_TICK_DELTA)); 
      getContext().system().scheduler().scheduleOnce(
        FiniteDuration.apply(delta, TimeUnit.MILLISECONDS), 
        self(), 
        new Tick(), 
        getContext().dispatcher(), 
        null); 
     } 
    } 

    @Override 
    public void onReceive(Object msg) throws Exception { 
     if (msg instanceof Tick) { 
      long t = new Date().getTime(); 
      if (t >= checkpoint) { 
       if (t >= checkpoint + dt) // Tick came too late, due to some external delay (like system restart) 
        ; 

       // execute work here, preferably spawning a new actor 
       // responsible for doing the work in asynchronous fashion 
      } 
      scheduleNextTick(); 
     } else 
      unhandled(msg); 
    } 

} 

Надеется, что это помогло))