Hadoop автономный вычислительный смысл

Question

Я читал в Hadoop, и одна вещь, которую я прочитал несколько раз, - это то, что Hadoop хорош для автономных вычислений. Что это значит «автономные вычисления»?

Answer 1

Термины «онлайн» и «офлайн» иногда используются как синонимы терминов «в реальном времени» и «пакет» соответственно. Например, "online machine learning" относится к обучению, которое происходит непрерывно по мере поступления новых данных обучения. В отличие от этого, "offline machine learning" относится к обучению из серии данных обучения.

Hadoop способен обрабатывать большие объемы данных партиями (как правило, выполняется относительно редко, например, ежечасно), в отличие от обработки данных в режиме реального времени по мере его поступления.

Answer 2

AFAIK, «автономные вычисления» - это именно то, что он говорит. Это система, отключенная от Интернета (обычно по соображениям безопасности). Но это также связано с выделенными серверами, которые могут обращаться к локальным базам данных, поэтому им действительно не нужно подключаться к сети, и они не хотят тратить ресурсы.

Итак, я думаю, что документ, который вы прочитали, означает, что Hadoop отлично подходит для выделенных серверов, которым необходимо обрабатывать длительные выделенные вычисления, где необходим процессор. В этом случае «автономный» обычно связан с производительностью, а не с безопасностью.

Answer 3

В on-line computing, пользователь будет ожидать откликов на свой запрос и ожидает ответа в real-time или near real-time.

В offline computing пользователь будет запускать/планировать операцию в определенное время и не ожидает ответа в режиме реального времени. Как только операция завершится, он проверит результат через некоторое время.

offline-computing будет выполнен на огромных наборах данных, что может занять несколько часов, чтобы завершить работу, и, следовательно, пользователь не заинтересован в ответе в режиме реального времени. Он запустит & забыть вычислительную операцию. Он проверяет результаты в свое время.