Spark reference table

Question

A Spark RDD содержит коллекцию, каждый элемент представляет запрос.

Функция Scala будет передана в RDD, и для каждого элемента RDD эта функция создаст модифицированный запрос.

Для каждого элемента коллекции \ request необходимо найти справочную таблицу. Максимальный размер справочной таблицы будет 200 строк.

Какова эффективность и масштабируемость, как должна быть смоделирована таблица поиска (которая используется внутри функции)?

1. Spark Broadcast variable.
2. Отдельная искра RDD.
3. Scala неизменной коллекции.

Возможно, есть еще один вариант, который я не рассматривал.

Благодаря

Answer 1

Это зависит от размера вашего РДА, но дает, что ваша справочная таблица будет иметь около 200 строк, я думаю, что лучший вариант был бы использовать переменное вещание.

Если вы использовали отдельный RDD, вы можете сделать искру, чтобы переделать запрос RDD и сделать обычную перетасовку.