Я полный новичок в искры. Я пытаюсь запустить искру на Amazon EC2, но моя система не распознает «spark-ec2» или «./spark-ec2». В нем говорится, что «spark-ec2» не распознается как внутренняя или внешняя команда.spark-ec2 не распознается при расположении кластера на окнах 8.1
Я выполнил инструкцию here, чтобы запустить кластер. Я хотел бы использовать Scala, как мне заставить ее работать?
Добавить переменную окружения PYTHON PATH с помощью boto. PYTHONPATH = «$ {} SPARK_EC2_DIR /third_party/boto-2.4.1.zip/boto-2.4.1:$PYTHONPATH» и выполнить питон скрипт
Спасибо за ваш ответ. Будет ли это работать, если мне нужно использовать Scala? – daolincheng
Я не уверен, что вы можете запустить кластер spark-ec2 с scala. Я всегда использую скрипт spark-ec2 для запуска кластера. – None
PATHONPATH не распознается как внутренняя или внешняя команда – daolincheng
Для того, чтобы запустить сценарий искровым EC2 на Windows Вы нужны Cygwin и Python. Если вы не хотите устанавливать эти программы, вы можете использовать докционированную версию скрипта (https://github.com/edrevo/spark-ec2-docker), которая зависит только от Docker.
Это не похоже, что сценарий предназначен для работы в окнах. Хотя вы можете запустить скрипт python напрямую. Но проблема, с которой вы сталкиваетесь, вероятно, связана с тем, что она не находится в правильном каталоге в командной строке. – datasage
Вы имеете в виду в папке ec2? Я действительно. – daolincheng