Многопоточность в Hadoop/Spark

Question

У меня есть идея многопоточности в целом, но не знаю, как она используется в Hadoop.

Основываясь на моих знаниях, пряжа отвечает за управление/контроль ресурсов Spark/Mapreduce, не может думать о многопоточности здесь. Не уверен, что его можно использовать где-либо еще в Hadoop Eco System.

Буду признателен, если кто-нибудь может предоставить некоторую информацию об этом.

Большого спасибо,

Answer 1

на самом деле, ПРЯЖА отвечает за управление распределением ресурсов и перераспределением для контейнеров, запрошенного Application Master (MR-AppMaster или искровых Driver). Таким образом, RPC между ними - все о согласовании соглашения о ресурсах, и он не рассматривает никаких подробностей о том, как задачи выполняются внутри MapReduce и Spark.

Для MapReduce-Hadoop каждая задача (mapper или редуктор) - это единственный процесс, запущенный на JVM, здесь он не использует многопоточность.

Для Spark каждый исполнитель фактически состоит из множества рабочих потоков. Здесь каждая задача Spark соответствует каждой задаче (единому процессу) в MapReduce. Таким образом, Spark реализует на основе многопоточных моделей для нижних
служебных данных JVM и перетасовки данных между задачами.

Основываясь на моих опытах, модели с несколькими нитями уменьшают накладные расходы, но страдают от огромной стоимости отказоустойчивости. Если исполнитель в Spark не работает, все задачи, выполняемые внутри исполнителя, должны повторно запускаться, но для MapReduce требуется повторная перезагрузка только одной задачи. Также Spark страдает от огромного давления в памяти, потому что все задачи, стоящие на стороне исполнителя, должны кэшировать данные с точки зрения RDD. Но задача Mapreduce обрабатывает только один блок за раз.

Надеюсь, это полезно.