2012-03-06 4 views
0

Изучая Apache Avro в книге Тома Уайта, Hadoop: The Definitive Guide, я получил ошибку.NullPointerException при создании SpecificDatumWriter <T>

Пример имеет 3 шага:

  1. Создать Avro файл схемы (Pair.avsc)

    { 
        "type":"record", 
        "name":"Pair", 
        "doc":"A pair of strings.", 
        "fields":[ 
         { "name":"left", "type":"string" }, 
         { "name":"right", "type":"string" } 
        ] 
    } 
    
  2. Compile файл схемы для создания класса Java (Pair.java) с помощью

    $ java -jar $AVRO_HOME/avro-tools-1.6.2.jar compile schema src/main/resources/Pair.avsc src/main/java/

  3. Используйте SpecificDatumWriter<Pair> и SpecificDatumReader<Pair> для сериализации/десериализации данных.

Оригинальный пример метод в https://github.com/tomwhite/hadoop-book/blob/master/avro/src/main/java/AvroTest.javatestPairSpecific().

Я переписал пример кода (createPairAndSerializeThenDeserialize() в https://github.com/philipjkim/avro-examples/blob/master/src/test/java/org/sooo/AvroTest.java), который почти похож на оригинальный. В отличии от них:

  1. Avro версия I используется 1.6.2, в оригинале 1.3.2.
  2. Содержимое Pair.java созданные Avro-tools.jar отличаются (оригинал: https://github.com/tomwhite/hadoop-book/blob/master/avro/src/main/java/Pair.java, шахта: https://github.com/philipjkim/avro-examples/blob/master/src/main/java/org/sooo/Pair.java)

После выполнения теста, я получил сообщение об ошибке:

java.lang.NullPointerException 
at java.lang.String.replace(String.java:2228) 
at org.apache.avro.specific.SpecificData.createSchema(SpecificData.java:195) 
at org.apache.avro.specific.SpecificData.getSchema(SpecificData.java:140) 
at org.apache.avro.specific.SpecificDatumWriter.<init>(SpecificDatumWriter.java:33) 
at org.sooo.AvroTest.createPairAndSerializeThenDeserialize(AvroTest.java:86) 
    ... 

AvroTest.createPairAndSerializeThenDeserialize() является:

@Test 
public void createPairAndSerializeThenDeserialize() throws IOException { 
    // given 
    Pair datum = new Pair(); 
    datum.setLeft(new Utf8("L")); 
    datum.setRight(new Utf8("R")); 

    // serialize 
    ByteArrayOutputStream out = new ByteArrayOutputStream(); 
    DatumWriter<Pair> writer = new SpecificDatumWriter<Pair>(Pair.class); /* Line 86 */ 
    Encoder encoder = EncoderFactory.get().binaryEncoder(out, null); 
    writer.write(datum, encoder); 
    encoder.flush(); 
    out.close(); 

    // deserialize 
    DatumReader<Pair> reader = new SpecificDatumReader<Pair>(Pair.class); 
    Decoder decoder = DecoderFactory.get().binaryDecoder(out.toByteArray(), 
    null); 
    Pair result = reader.read(null, decoder); 

    // then 
    assertThat(result.getLeft().toString(), is("L")); 
    assertThat(result.getRight().toString(), is("R")); 
} 

Я хотел бы знать, что не так с этим примером. Спасибо за любые комментарии.

FYI, мой пример проект репо https://github.com/philipjkim/avro-examples.

ответ

3

Pair.avsc Ваш файл отсутствует поле пространства имен для пользовательского имени пакета:

... 
    "namespace": "org.sooo", 
... 
+0

Он отлично работает. Благодаря! – philipjkim

Смежные вопросы