Следующая ошибка произошла в моей Спарк программе приемника Streaming Кафки:ERROR actor.OneForOneStrategy ошибка Спарк Потоковое
ERROR actor.OneForOneStrategy: org.jnetpcap.protocol.network.Ip4java.io.NotSerializableException
Что может быть причиной?
Если контрольная точка включена в Spark Streaming, тогда объекты, используемые в функции, вызываемой forEachRDD, должны быть Serializable. В противном случае появится «ОШИБКА OneForOneStrategy». Код будет работать, если мы отключим контрольную точку.
В двух словах эта ошибка указывает на то, что некоторые функции в вашем задании ссылаются на объект, не связанный с сериализацией (а именно org.jnetpcap.protocol.network.Ip4). Посмотрите на "ERROR OneForOneStrategy" article in the Databricks Spark Knowledgebase на примере того, как эта проблема может возникнуть, и обсуждение различных обходных решений/исправлений.