Apache Spark: Удерживать пользовательский класс в GraphX: не Serializable?

Question

У меня есть статья класс

case class Article(articleName:String, 
        id:Option[Long], 
        authors: Iterator[Author], 
        keywords: Iterator[String]) 

(Автор является классом, который имеет 4 варианта строк)

, и я хочу, чтобы создать график из него. Я создал RDD вершин и ребер RDD

val vertices: RDD[(VertexId, Article)] = articles.map(article => (article.id.get , article)) 

, когда я создаю мой график:

val graph = Graph(vertices, edges) 

Я получаю следующее сообщение об ошибке (укороченный):

java.io.NotSerializableException: scala.collection.LinearSeqLike$$anon$1 
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1184) 
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548) 
    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509) 

Я я не понимаю, почему я не могу делать то, что делаю?

Answer 1

Ваш класс не является сериализуемым, потому что LinearSeqLike в нем не является сериализуемым. Задачи, которые запускаются на узлах искрового кластера, должны быть сериализованы, чтобы попасть туда. Я бы предложил использовать List или какой-нибудь другой такой конкретный, сериализуемый тип последовательности, а не Iterator.