Искра - комбинации без повторения

Question

Я пытаюсь выполнить все комбинации линий без повторения текстового файла.

Пример:

Результат:

• Линия 1 с линией 2 = (1,2)
• линии 1 с линией 3 = (1,2)
• Линия 1 с линией 4 = (1,1)
• Линия 1 с линией 5 = (1,1)
• линия 2 с линией 3 = (2,2)
• линия 2 с линией 4 = (2,1)
• линия 2 с линией 5 = (2,1)
• Линия 3 с линией 4 = (2,1)
• Строка 3 с линией 5 = (2,1)
• линия 4 с линией 5 = (1,1)

или

Учитывая (х, у), если 0 еще 1 (х = у!):

Я следующий код:

def processCombinations(rdd: RDD[String]) = { 
    rdd.mapPartitions({ partition => { 
     var previous: String = null; 
     if (partition.hasNext) 
      previous = partition.next 

     for (element <- partition) yield { 
      if (previous == element) 
      "1" 
      else 
      "0" 
     } 
     } 
    }) 
    } 

Кусок кода выше делает комбинации первого элемента моего RDD, другими словами: (1, 2) (1,2) (1,1) (1,1).

Проблема: этот код ТОЛЬКО работает с ОДНОМ РАЗДЕЛОМ. Я хотел бы сделать эту работу со многими разделами, как я могу это сделать?

Answer 1

Не совсем понятно, что вы хотите в качестве вывода, но это воспроизводит ваш первый пример и переводит непосредственно на Spark. Он генерирует комбинации, но только там, где индекс первого элемента в исходном списке меньше, чем индекс второго, что я думаю, о чем вы просите.

val r = List(1,2,2,1,1) 
val z = r zipWithIndex 

z.flatMap(x=>z.map(y=>(x,y))).collect{case(x,y) if x._2 < y._2 => (x._1, y._1)} 
//List((1,2), (1,2), (1,1), (1,1), (2,2), (2,1), (2,1), (2,1), (2,1), (1,1)) 

или, как для-понимания

for (x<-z; y<-z; if x._2 < y._2) yield (x._1, y._1) 

Answer 2

Этот код вычисления комбинации без повторений путем использования рекурсии. Он получает 2 аргумента: количество элементов для комбинации и список элементов.

Он работает следующим образом: для данного списка: 1, 2, 3, 4, 5 => Он принимает 4 первых элемента для первой комбинации. Затем он генерирует другую комбинацию с 5, последним элементом списка. Когда в списке осталось больше элементов, он перемещает одну позицию назад (третью позицию) и берет следующий элемент для генерирования большего количества комбинаций оттуда: 1, 2, «4», 5. Эта операция выполняется рекурсивно со всеми элементы списка.

def combinator[A](n: Int, list: List[A], acc: List[A]): List[List[A]] = { 
    if (n == 0) 
    List(acc.reverse) 
    else if (list == Nil) 
    List() 
    else 
    combinator(n - 1, list.tail, list.head :: acc) ::: combinator(n, list.tail, acc) 
} 

combinator(4, List(1, 2, 3, 4, 5), List()).foreach(println) 

// List(1, 2, 3, 4) 
// List(1, 2, 3, 5) 
// List(1, 2, 4, 5) 
// List(1, 3, 4, 5) 
// List(2, 3, 4, 5)