2017-02-10 2 views
0

У меня есть классический шаблон Singleton, чтобы разделить JavaSparkContext в нескольких классах. Я хочу распараллелить список, который содержит пользовательский класс с именем ColumnCombinationBitset. Как видно из названия, оно состоит из поля сериализации OpenBitSet. Несмотря на то, что в первоначальном списке содержатся мои биты, кажется, что они пусты, когда я использую метод распараллеливания JavaSparkContext, чтобы превратить список в RDD.Содержимое, потерянное в JavaSparkContext parallelize

Я считаю, что я сделал что-то неправильно в сериализации класса оболочки OpenBitSet, но я не уверен, что это так. Я реализовал hashCode, равный для проверки условий, readObject, writeObject для сериализации, и я поместил конструктор с пустым аргументом.

ответ

0

Мне пришлось создавать широковещательные обертки ColumnCombinationBitset. После этого я смог успешно создать rdd, используя распараллеливание.

Смежные вопросы