2014-10-24 1 views
1

Я использую Intelli J идею с интеграцией Maven, но я получаю сообщение об ошибке на следующих линияхполучаю ошибку при импорте искровые зависимостей в IntelliJ идея

import org.apache.spark.SparkConf; 

import org.apache.spark.api.java.JavaRDD; 

import org.apache.spark.api.java.JavaSparkContext; 

import org.apache.spark.api.java.function.Function; 

Я пытаюсь запустить следующий пример

package com.spark.hello; 

import org.apache.spark.SparkConf; 
import org.apache.spark.api.java.JavaRDD; 
import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.api.java.function.Function; 

public class Hello { 

     public static void main(String[] args) { 
      String logFile = "F:\\Spark\\a.java"; 
      SparkConf conf = new SparkConf().setAppName("Simple Application"); 
      JavaSparkContext sc = new JavaSparkContext(conf); 
      JavaRDD<String> logData = sc.textFile(logFile).cache(); 

      long numAs = logData.filter(new Function<String, Boolean>() { 
       public Boolean call(String s) { return s.contains("a"); } 
      }).count(); 

      long numBs = logData.filter(new Function<String, Boolean>() { 
       public Boolean call(String s) { return s.contains("b"); } 
      }).count(); 

      System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs); 
      } 






} 

PLZ помочь мне решить эту проблему или есть ли другой способ запустить такой проект ???

ответ

1

Не видя ошибки, я предполагаю, что IDE сообщает вам, что они неиспользуемые импорты, не забудьте дважды проверить зависимости и версии.

Alt + Enter - это ярлык, который я использовал для решения многих проблем.

Смежные вопросы