Синхронизация очереди

Question

Я работаю с Java rabbitmq API. Это как мое приложение выглядит следующим образом:

Издатель A посылает задания на Q1, то многие потребители B сделать работу и создать новое задание и отправить его в Q2, где многие потребительские C сделать работу.

Я хочу удостовериться, что никакие дублированные задания не отправляются на Q2, как я могу это достичь?

Прими во внимании два сценария:

1. B аварии после отправки задания на Q2, но перед отправкой подтверждения Q1, что он завершил работу
2. B аварии после отправки подтверждения Q1 но перед отправкой задания на Q2

Answer 1

Я хочу убедиться, что никакие дублированные задания не отправляются во второй квартал, как я могу это достичь?

вы не можете. даже не на Q1.

Характер распределенных систем и теорема CAP (https://en.wikipedia.org/wiki/CAP_theorem) говорят, что это невозможно, даже если цель достигается подавляющее большинство времени.

В свете того, что вам нужно, это план того, как вы будете обрабатывать моменты, когда случайно создается дублирующее сообщение.

Наиболее распространенный метод - это своего рода идемпотентность (https://en.wikipedia.org/wiki/Idempotence) - способ гарантировать, что одно и то же сообщение будет обработано только один раз. или, может быть, более точно, способ сказать, что одно и то же сообщение может обрабатываться неограниченное количество раз, но будет только вызывать изменение/иметь влияние на систему один раз.

---

в целом, однако, ваша ситуация с несколькими очередями и потребителей, которые должны обрабатывать вещи в порядке призывает к «Саге» или «Process Manager» - это давно работает, асинхронный рабочий процесс.

Вы можете прочитать эту идею о «диспетчере процессов» в книге «Интеграционные схемы предприятия», и вокруг будет много хороших библиотек, которые будут реализовывать детали для вас.

• http://www.enterpriseintegrationpatterns.com/patterns/messaging/ProcessManager.html

• http://kellabyte.com/2012/05/30/clarifying-the-saga-pattern/