Не удалось запустить искробезопасный сервер в google-cloud-dataproc

Question

У меня возникли трудности с запуском бережливого сервера для искрового sql в порту 10010 в кластере google-cloud dataproc, он не справляется со следующей ошибкой: может ли кто-нибудь помочь? Я попробовал изменить номер порта, которому все еще не повезло.

Sudo -u искра HIVE_SERVER2_THRIFT_PORT = 10010 /usr/lib/spark/sbin/start-thriftserver.sh

Вот лог:

16/11/30 23:47:16 ИНФО орг .apache.hive.service.AbstractService: Сервис: запущен ThriftBinaryCLIService. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Служба: запускается HiveServer2. 16/11/30 23:47:16 ERROR org.apache.hive.service.cli.thrift.ThriftCLIService: Ошибка при запуске HiveServer2: не удалось запустить ThriftBinaryCLIService org.apache.thrift.transport.TTransportException: не удалось создать ServerSocket на адрес 0.0.0.0/0.0.0.0:10002. at org.apache.thrift.transport.TServerSocket. (TServerSocket.java:109) at org.apache.thrift.transport.TServerSocket. (TServerSocket.java:91) at org.apache.thrift.transport.TServerSocket. (TServerSocket.java:87) at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket (HiveAuthFactory.java:241) at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run (ThriftBinaryCLIService.java : 66) at java.lang.Thread.run (Thread.java:745) 16/11/30 23:47:16 INFO org.apache.hive.service.server.HiveServer2: выключение HiveServer2 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Служба: ThriftBinaryCLIService остановлен. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Service: OperationManager остановлен. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Service: SessionManager остановлен. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Служба: CLIService остановлен. 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService: Услуги: HiveServer2 остановленный

Answer 1

Я не совсем уверен, почему это не работает, но я бы рекомендовал продолжить apt-get install spark-thriftserver вместо.

Сервер по умолчанию настроен на работу с портом 10002 (как он пытался сделать в вашем случае), но вы можете изменить его в spark-env.sh.

Также стоит отметить, что Thrift Server с AppMaster и исполнителем может заполнить небольшой кластер или быть заблокирован другим небольшим искровым заданием.