Сохранить null Значения в Cassandra с использованием DataStax Spark Connector

Question

Я пытаюсь сохранить данные потока в Cassandra, используя Spark и Cassandra Spark Connector.

я сделал что-то вроде следующего:

Создание модели класса:

public class ContentModel { 
    String id; 

    String available_at; //may be null 

    public ContentModel(String id, String available_at){ 
    this.id=id; 
    this.available_at=available_at, 
    } 
} 

Отображение потокового контента в модели:

JavaDStream<ContentModel> contentsToModel = myStream.map(new Function<String, ContentModel>() { 
     @Override 
     public ContentModel call(String content) throws Exception { 

      String[] parts = content.split(","); 
      return new ContentModel(parts[0], parts[1]); 
     } 
    }); 

Сохранить:

CassandraStreamingJavaUtil.javaFunctions(contentsToModel).writerBuilder("data", "contents", CassandraJavaUtil.mapToRow(ContentModel.class)).saveToCassandra(); 

Если s екоторые значения null я получаю следующее сообщение об ошибке:

com.datastax.spark.connector.types.TypeConversionException: Cannot convert object null to struct.ValueRepr. 

Есть ли способ хранить нулевые значения с помощью искрового Cassandra Connector?

Answer 1

В Cassandra отсутствует понятие null. Столбец пуст или заполнен. Я решил эту проблему в scala следующим образом: я использовал метод карты и проверил нулевые значения. Я обнуляю null с пустой строкой. Вот и все. Работает очень хорошо.

Answer 2

В scala вы также можете использовать опции для этого.