Использование скрипта R с Spark

Question

Я хочу запустить существующий R-скрипт из Spark.

У меня есть установка R и Spark на моей машине и попытка выполнить код, но я получаю исключение, но это не очень полезно.

Спарк

код-

String file = "/home/MSA2.R"; 
     SparkConf sparkConf = new SparkConf().setAppName("First App") 
       .setMaster("local[1]"); 

     @SuppressWarnings("resource") 
     JavaSparkContext sparkContext = new JavaSparkContext(sparkConf); 

     JavaRDD<String> rdd = sparkContext.textFile("/home/test.csv") 
     .pipe(file); 

R код -

f1 <- read.csv("/home/testing.csv") 

Исключение -

Исключение в потоке "главный" org.apache.spark.SparkException: Работа прервана из-за для отказа этапа: Задача 0 на этапе 0.0 не удалась 1 раз, большинство недавний сбой: Потерянная задача 0.0 in sta ge 0.0 (TID 0, localhost): java.lang.IllegalStateException: Подпроцесс завершен со статусом 2. Команда запущена: /home/MSA2.R java.util.NoSuchElementException: ключ не найден: 1 rg.apache.spark .rpc.RpcTimeoutException: не может получить ответ в 120 секунд. Этот тайм-аут контролируется spark.rpc.askTimeout at> org.apache.spark.rpc.RpcTimeout.org $ apache $ spark $ rpc $ RpcTime> out $$ createRpcTimeou tException (RpcTimeou t.scala: 48)

Существует немало исключений для отладки проблемы.

Может кто-нибудь предложить, подходит ли подход или нет. Если да, то кто-нибудь может помочь с проблемой, если нет, предложите подход.

Примечание: Я не хочу использовать искру R

Отнесение выше код- https://www.linkedin.com/pulse/executing-existing-r-scripts-from-spark-rutger-de-graaf

Answer 1

Я исправил проблему. Я добавил

#!/usr/bin/Rscript 

на первой строке RScript, и это сработало.

Answer 2

Фактическая ошибка:

java.lang.IllegalStateException: Подпроцесс завершился со статусом 2 . Командование: /home/MSA2.R

Убедитесь, что MSA2.R существует в данном l и в том же кластере, где вы запускаете искровые задания.

Как правило, статус выхода 2 возникает, когда скрипт не может получить доступ к устройству.