Spark cluster - чтение/запись на hadoop

Question

Я хотел бы прочитать данные из hadoop, процесс на искру и результат wirte по hadoop и эластичному поиску. У меня мало рабочих узлов для этого.

Spark автономный кластер достаточен? или мне нужно, чтобы кластер hadoop использовал пряжу или мезо?

Если автономный режим кластера достаточен, должен ли быть установлен файл jar на всем узле в отличие от пряжи, режима мезо?

Answer 1

Прежде всего, вы не можете записывать данные в Hadoop или читать данные из Hadoop. Это HDFS (компонент экосистемы Hadoop), который отвечает за чтение/запись данных. Сейчас подходит к вашему вопросу

1. Да, можно считывать данные из HDFS и обработать его в свече двигателя, а затем записать вывод на HDFS.

2. YARN, mesos и spark standalone - все это кластерные менеджеры, и вы можете использовать любой из них для управления ресурсами в вашем кластере, и это не имеет никакого отношения к hadoop. Но так как вы хотите читать и записывать данные с/на HDFS, вам нужно установить HDFS на кластер, и поэтому лучше всего установить hadoop на всех ваших узлах, которые также будут устанавливать HDFS на всех узлах. Теперь, хотите ли вы использовать YARN, mesos или искробезопасность, которая по вашему выбору, все будет работать с HDFS. Я сам использую искровую изоляцию для управления кластерами.

3. Непонятно, с какими файлами jar вы разговариваете, но я предполагаю, что это будет искра, тогда да, вам нужно установить путь для искрового баночки на каждом узле, чтобы не возникало противоречия в путях, когда искра протекание.