Преимущество использования потока данных весеннего облака вместо весенней партии

Question

Нам нужно написать приложение для чтения плоского файла каждый день и записи в таблицу базы данных. Мы планируем использовать Spring Batch для выполнения этой работы.

Ограничение и добавление мы ищем являются

1. само приложение будет работать в одной виртуальной машине. Он никогда не будет развернут в нескольких виртуальных машинах в любое время.

2.And у нас могут быть другие файлы в будущем, чтобы следовать одному и тому же шаблону.

В этом случае использование Spring Data Flow обеспечивает любые функции или преимущество перед весенней периодичностью?

Answer 1

Я попытался обобщить общие возможности функции и упрощение, которое предлагает Spring Cloud Data Flow (SCDF) в этом SO thread - возможно, это может быть полезно.

В вашем случае,

Приложение само будет работать в одной виртуальной машине. Он никогда не будет развернут в нескольких виртуальных машинах в любое время.

Не уверен, что это вопрос или требование. Я собираюсь предположить, что вам интересно, как масштабировать свою работу по пакетной работе.

Если у вас есть remote partitioned пакетной работы, в зависимости от количества workers, что вы настроили, каждый из них выполняются в отдельном процессе/контейнере и master шаг определяется в вашей пакетной работе координирует рабочие и разделов данных. Это будет пример параллельной работы - вот sample.

И мы могли бы иметь другие файлы в будущем, чтобы следовать той же схеме

Великий. После того, как вы определили и зарегистрировали свой пакетный задание в SCDF, вы можете запускать/перезапускать его в любое время. Для этого вы должны использовать REST-API SCDF, Shell или Dashboard.

В зависимости от платформы выполнения, в которой вы выполняете SCDF + пакетное задание, вы можете воспользоваться планировщиком платформы, чтобы запланировать пакетное задание через REST-API, выставленные в SCDF.