Инструмент для выполнения распределенных задач

Question

Полезно использовать искру только для выполнения распределенных задач. У меня есть это требование обработки огромных наборов данных (чтение из базы данных, процесс, запись в базу данных), однако обработка выполнена на уровне строк. что означает, что мне не нужно сокращать или машинное обучение.

Было бы излишним использовать искру для такого рода требований. Что лучше всего подходит для такого рода требований. Я не хочу вписываться в инфраструктуру программного обеспечения, которая будет оптимально распределяться, обрабатывать сбои, повторы и т. Д.

Answer 1

Spark больше предназначен для обработки (на самом деле) больших наборов данных и встроенной памяти. Один из вариантов - использовать любой открытый источник IMDG и обрабатывать данные аналогичным образом, но (возможно) с меньшей сложностью.

Вы также можете выбрать свой движок IMDG, исходя из того, на каком языке вы хотите его использовать. Для .Net вы можете использовать NCache, а для Java их много, но вы можете использовать TayzGrid