reduceByKey не является членом

Question

Привет, У меня есть код, который просто получает количество слов из документа. Мне также нужно использовать карту для поиска значения данных перед генерированием вывода. Вот код.

requests 
    .filter(_.description.exists(_.length > 0)) 
    .flatMap { case request => 
     broadcastDataMap.value.get(request.requestId).map { 
     data => 
      val text = Seq(
      data.name, 
      data.taxonym, 
      data.pluralTaxonym, 
      request.description.get 
     ).mkString(" ") 
      getWordCountsInDocument(text).map { case (word, count) => 
      (word, Map(request.requestId -> count)) 
      } 
     } 
    } 
    .reduceByKey(mergeMap) 

Сообщение об ошибке

reduceByKey is not a member of org.apache.spark.rdd.RDD[scala.collection.immutable.Map[String,scala.collection.immutable.Map[Int,Int]]] 

Как я могу решить эту проблему? Мне нужно вызвать getWordCountsInDocument. Благодаря!

Answer 1

reduceByKey является членом PairRDDFunctions, в основном он неявно добавляется к RDD в форме RDD[(K, V)]. Вероятно, вам нужно сгладить структуру, которая будет RDD[String, Map[Int,Int]].

Если вы можете предоставить типы для ваших вводов (requests, broadcastDataMap и mergeMap), мы сможем оказать некоторую помощь в этом преобразовании.

Из видов предоставляемых и предположения о том, что тип возвращаемого getWordCountsInDocument некоторая коллекция [(слово, граф: Int)]

Изменение:

broadcastDataMap.value.get(request.requestId).map { 

в

broadcastDataMap.value.get(request.requestId).flatMap { 

должен исправить проблему.