2015-08-31 2 views
0

Я создаю таблицу в hive для twitter json file.This является образцом файла. Проблема, с которой я сталкиваюсь, заключается в том, что я не могу создать массив со структурой, потому что в приведенных ниже данных есть четыре одинаковые структуры в одном массиве. Может ли кто-нибудь сказать, как я могу создать массив для данных ниже. Я попытался дать каждой структуре другое имя, таблица была успешно создана, но я не смог извлечь данные из таблицы. БлагодаряСоздание структур в массиве с использованием Hive

> "variants": [ 
     { 
      "bitrate": 2176000, 
      "content_type": "video\/mp4", 
      "url": "https:\/\/video.twimg.com\/ext_tw_video\/560070131976392705\/pu\/vid\/1280x720\/c4E56sl91ZB7cpYi.mp4" 
     }, 
     { 
      "bitrate": 320000, 
      "content_type": "video\/mp4", 
      "url": "https:\/\/video.twimg.com\/ext_tw_video\/560070131976392705\/pu\/vid\/320x180\/nXXsvs7vOhcMivwl.mp4" 
     }, 
     { 
      "bitrate": 832000, 
      "content_type": "video\/webm", 
      "url": "https:\/\/video.twimg.com\/ext_tw_video\/560070131976392705\/pu\/vid\/640x360\/vmLr5JlVs2kBLrXS.webm" 
     }, 
     { 
      "bitrate": 832000, 
      "content_type": "video\/mp4", 
      "url": "https:\/\/video.twimg.com\/ext_tw_video\/560070131976392705\/pu\/vid\/640x360\/vmLr5JlVs2kBLrXS.mp4" 
     }, 
     { 
      "content_type": "application\/x-mpegURL", 
      "url": "https:\/\/video.twimg.com\/ext_tw_video\/560070131976392705\/pu\/pl\/r1kgzh5PmLgium3-.m3u8" 
     } 
     ] 

ответ

0

попробовать это,

CREATE TABLE complex_json (
    variants:array<struct<bitrate:int,content_type:string, url:string>>> 
) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'; 

прибудет serde из https://github.com/rcongiu/Hive-JSON-Serde

+0

создаются таблицы, но когда я поставил запустить этот запрос после загрузки данных в формате JSON «SELECT extended_entities.media.video_info.variants .bitrate FROM f_t_tweets; " он выдает эту ошибку «FAILED: SemanticException [Ошибка 10042]: Строка 1: 7. Оператор поддерживается только для структуры или списка битрейтов типа структуры» –

Смежные вопросы