Apache Spark: Ошибка при запуске PySpark

На машине Centos, Python v2.6.6 и Apache Спарк v1.2.1Apache Spark: Ошибка при запуске PySpark

Получение следующее сообщение об ошибке при попытке запустить ./pyspark

Кажется некоторые проблемы с питоном, но не в состоянии выяснить

15/06/18 08:11:16 INFO spark.SparkContext: Successfully stopped SparkContext 
Traceback (most recent call last): 
    File "/usr/lib/spark_1.2.1/spark-1.2.1-bin-hadoop2.4/python/pyspark/shell.py", line 45, in <module> 
    sc = SparkContext(appName="PySparkShell", pyFiles=add_files) 
    File "/usr/lib/spark_1.2.1/spark-1.2.1-bin-hadoop2.4/python/pyspark/context.py", line 105, in __init__ 
    conf, jsc) 
    File "/usr/lib/spark_1.2.1/spark-1.2.1-bin-hadoop2.4/python/pyspark/context.py", line 157, in _do_init 
    self._accumulatorServer = accumulators._start_update_server() 
    File "/usr/lib/spark_1.2.1/spark-1.2.1-bin-hadoop2.4/python/pyspark/accumulators.py", line 269, in _start_update_server 
    server = AccumulatorServer(("localhost", 0), _UpdateRequestHandler) 
    File "/usr/lib64/python2.6/SocketServer.py", line 402, in __init__ 
    self.server_bind() 
    File "/usr/lib64/python2.6/SocketServer.py", line 413, in server_bind 
    self.socket.bind(self.server_address) 
    File "<string>", line 1, in bind 
socket.gaierror: [Errno -2] Name or service not known 
>>> 15/06/18 08:11:16 INFO remote.RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon. 
15/06/18 08:11:16 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.

источник

2015-06-18 jd_247

Похоже, вы ар e невозможно подключиться к источнику искры. Вы используете это локально в автономном режиме? – Anant

из бревен он выглядит как pyspark не в состоянии понять хозяин Localhost .Please проверить ваш/и т.д./файл хостов, если локального нет t, добавьте запись, она должна решить эту проблему.

например:

[Ip] [Hostname] локальный

В случае, если вы не в состоянии изменить запись хоста сервера редактирования /python/pyspark/accumulators.py номер строки 269, как показано ниже

сервер = AccumulatorServer (("[сервер имя хоста из хостов файл]", 0), _UpdateRequestHandler)

источник

2015-06-19 06:23:36

Apache Spark: Ошибка при запуске PySpark

ответ

Смежные вопросы