Каков наилучший способ непрерывной обработки асинхронной очереди в Java?

Question

Мне сложно понять, как архитектовать последнюю часть моей системы. В настоящее время я запускаю сервер Tomcat, у которого есть сервлет, который отвечает на запросы клиентов. Каждый запрос, в свою очередь, добавляет сообщение обработки в асинхронную очередь (я, вероятно, буду использовать JMS через Spring или, скорее, Amazon SQS).

Последовательность событий такова:

отправляющая сторона:
1. Принять запрос клиента
2. Добавьте некоторые данные в БД, связанные с этим запросом с уникальным ID
3. Добавить объект сообщения, представляющий этот запрос в очередь сообщений

приемной стороне:
1. натянуть новый объект сообщения из очереди
2. Unwrap объект и захват некоторая информация с веб-сайта на основе информации, содержащейся в объекте msg.
3. Отправить оповещение по электронной почте
4. обновите мою строку БД (тот же уникальный идентификатор) с информацией, что операция была выполнена для этого запроса.

У меня есть трудное выяснение того, как правильно обращаться с принимающей стороной. С одной стороны, я могу создать простую java-программу, которую я запускаю из командной строки, которая выбирает каждый элемент в очереди и обрабатывает его. Это безопасно? Имеет ли смысл использовать эту программу в качестве другого потока внутри контейнера Tomcat? Я не хочу делать это последовательно, то есть принимающая сторона должна обрабатывать несколько объектов одновременно - используя несколько потоков. Я хочу, чтобы это всегда работало 24 часа в сутки.

Каковы некоторые варианты построения принимающей стороны?

Answer 1

«С одной стороны, я могу создать простую java-программу, которую я запускаю из командной строки, которая выбирает каждый элемент в очереди и обрабатывает его. Это безопасно?»

Что небезопасно? Он отлично работает.

«Имеет ли смысл использовать эту программу в качестве другого потока внутри контейнера Tomcat?»

Только если у Tomcat есть много свободного времени для обработки фоновой обработки. Часто это является случае - у вас есть свободное время для обработки.

Однако нити не являются оптимальными. В потоках используются общие ресурсы ввода-вывода, а фоновый поток может замедлить работу интерфейса.

Лучше иметь очередь JMS между интерфейсом «порт 80» и отдельным фоновым процессом. Начальный процесс запускается, подключается к очереди, выбирает и выполняет запросы. Бэкэнд-процесс может (при необходимости) быть многопоточным.

Answer 2

Я сделал это, разместив приемник на сервере приложений, weblogic в моем случае, но tomcat отлично работает. Не проводите опрос в очереди, используйте модель на основе событий. Это может быть ручной код или это может быть веб-служба, управляемая сообщениями. Если обновление базы данных является идемпотентным, вы можете обновить базу данных и отправить электронное письмо, а затем выдать фиксацию в очереди. Не проблема иметь несколько потоков, которые все читают из одной очереди.

Я использую различные решения JMS, в том числе tibco, activemq (до того, как Apache включил его) и joram. Joram был более надежным решением для открытых источников, но теперь он может измениться, когда он является частью Apache.

Answer 3

Если вы уже используете Spring, ознакомьтесь с DefaultMessageListenerContainer. Это позволяет вам создавать обработанный POJO-компонент. Это можно использовать из существующего контейнера приложения (вашего файла WAR) или в виде отдельного процесса.

Answer 4

Если вы используете JMS, почему вы ставите задачи в БД?

Вы можете использовать простую очередь в JMS. Это будет держать задачи, даже если брокер JMS умрет, пока они не будут признаны. Вы можете иметь избыточных брокеров, чтобы, если один брокер умрет, второй автоматически берет верх. Это может быть более надежным, чем использование одного БД.