6
У меня есть действительно большие данные только для чтения, которые я хочу, чтобы все исполнители на одном и том же узле использовали. Это возможно в Spark. Я знаю, вы можете передавать переменные, но можете ли вы транслировать действительно большие массивы. Под капотом он делится данными между исполнителями на одном узле? Как это может обмениваться данными между JVM исполнителей, работающих на одном узле?В Spark можно ли делиться данными между двумя исполнителями?
Как данные привязываются к исполнителям? Не могли бы вы описать проблему, которую вы пытаетесь решить? – maasg
В принципе, у меня есть данные только для чтения, которые составляют около 6 ГБ. Эти данные должны время от времени считываться каждым исполнителем, как своего рода таблица поиска. Каждый исполнитель должен иметь доступ ко всей таблице поиска. Я не хочу отдавать столько памяти каждому исполнителю. Я хочу, чтобы память делилась между исполнителями, работающими на одном и том же узле, чтобы я мог уйти, предоставляя небольшую память каждому исполнителю. – pythonic
Похоже, вы можете использовать некоторые локальные службы для этого. Например. Загрузите эти данные в локальный Redis (или аналогичный db/cache в памяти) и используйте одиночный JVM-объект из задания Spark для адреса локального экземпляра. Вам также понадобится служба управления, которая обновляет. Я не думаю, что есть готовое решение Spark для достижения того, чего вы хотите. – maasg