XML Hive Serde Extract timestamp Hadoop

Question

Я пытаюсь извлечь временную метку из xml с помощью xml serde в Hive. Создание внешней таблицы связано с каталогом hdfs. В настоящее время значение timestamp отображается как null в моей таблице.

Я думаю, что временную метку нужно отливать? Я не уверен. Остальная часть xml-информации работает правильно и отображается в улье.

Входной файл:

<example> 
<date>2017-02-09 22:03:58<date> 
</example> 

Hive Создание сценария:

create external table example (
date timestamp 
) 
ROW FORMAT SERDE 'com.ibm.spss.hive.serde2.xml.XmlSerDe' 
WITH SERDEPROPERTIES (
"column.xpath.date"="/example/date/text()" 
) 
STORED AS 
INPUTFORMAT 'com.ibm.spss.hive.serde2.xml.XmlInputFormat' 
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat' 
LOCATION 'mypath' 
TBLPROPERTIES (
"xmlinput.start"="<example>", 
"xmlinput.end"="</example>" 
); 

Answer 1

кажется, что только примитивные типы Java в настоящее время поддерживаются.
Ознакомьтесь с методом getPrimitiveValue в файле XmlUtils.java.

/** 
* (c) Copyright IBM Corp. 2013. All rights reserved. 
* 
* Licensed under the Apache License, Version 2.0 (the "License"). 
* You may not use this file except in compliance with the License. 
* You may obtain a copy of the License at 
* 
* http://www.apache.org/licenses/LICENSE-2.0 
* 
* Unless required by applicable law or agreed to in writing, software 
* distributed under the License is distributed on an "AS IS" BASIS, 
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
* See the License for the specific language governing permissions and 
* limitations under the License. 
*/ 

package com.ibm.spss.hive.serde2.xml.processor; 

import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector.PrimitiveCategory; 

/** 
* The XML utilities 
*/ 
public class XmlUtils { 

    /** 
    * Private constructor 
    */ 
    private XmlUtils() { 
    } 

    /** 
    * Converts the string value to the java object for the given primitive category 
    * 
    * @param value 
    *   the value 
    * @param primitiveCategory 
    *   the primitive category 
    * @return the java object 
    */ 
    public static Object getPrimitiveValue(String value, PrimitiveCategory primitiveCategory) { 
     if (value != null) { 
      try { 
       switch (primitiveCategory) { 
        case BOOLEAN: 
         return Boolean.valueOf(value); 
        case BYTE: 
         return Byte.valueOf(value); 
        case DOUBLE: 
         return Double.valueOf(value); 
        case FLOAT: 
         return Float.valueOf(value); 
        case INT: 
         return Integer.valueOf(value); 
        case LONG: 
         return Long.valueOf(value); 
        case SHORT: 
         return Short.valueOf(value); 
        case STRING: 
         return value; 
        default: 
         throw new IllegalStateException(primitiveCategory.toString()); 
       } 
      } catch (Exception ignored) { 
      } 
     } 
     return null; 
    } 

}