1
У меня есть два DStreams. Пусть A:DStream[X] и B:DStream[Y].Как получить декартовое произведение двух DStream в Spark Streaming с помощью Scala?
Я хочу, чтобы получить декартово произведение из них, другими словами, новый C:DStream[(X, Y)] , содержащий все пары X и Y значений.
Я знаю, что есть функция cartesian для RDD. Я смог найти только this similar question, но он находится на Java и поэтому не отвечает на мой вопрос.
Конечно. 'A: DStream [(String, Int)]' - это набор терминов с вычисленным значением, связанный с каждым из них. 'B: DStream [Int]' является результатом функции 'count', поэтому он содержит только одно целочисленное значение. Я хочу вычислить что-то, используя целочисленное значение от A и целочисленное значение от B. Получив декартово произведение A и B, я получу новый DStream со значением от B, добавленным к каждой записи A, а I сможет вычислить мой результат с помощью карты. Порядок не имеет значения. Я очень новый пользователь Spark и Scala, поэтому не стесняйтесь советовать мне лучше, если я ошибаюсь. – Coukaratcha