Сколько серверов акул необходимо в отношении Spark?

Question

Я новичок в Spark/Shark и создал группу с тремя рабочими искры. Я начал устанавливать Shark на тех же трех серверах, но я прихожу к выводу, что, возможно, это не нужно, и нужен только один сервер Shark - я не могу найти ничего, что говорит об этом в документации. Нужен ли мне только один сервер Shark, так как Spark/Hive будет сильно подниматься, или мне нужно распространять его на всех серверах, где Spark находится?

Answer 1

Акула - это искра. Это похоже на WordCount или Spark Shell. Вам нужно иметь его на клиентской машине, с которой вы собираетесь отправлять запросы.

Если Shark JARS не присутствуют на рабочих машинах, они должны быть прикреплены к контексту искры.

Акустический сервер работает немного как «экран» в системах unix. В этом случае сервер Shark является приложением в Spark. Вы подключаетесь к серверу Shark с консоли Shark, отправляете запросы, а запросы выполняются сервером Shark на Spark от вашего имени.

Answer 2

Предполагая, что Shark означает ThriftServer, вам нужен только один Shark per (Spark) кластер.

Это распространяется даже на Spark 1.0.1, где Shark отставку, поскольку ThriftServer был внесен в ядро ​​искры.