Преобразование нестрогих метаданных JSON Amazon SNAP в Pandas DataFrame

Question

Я пытаюсь преобразовать this Amazon sample Snap grocery JSON data в кадр данных Pandas в IBM Bluemix (используя Python 2.x), а затем проанализировать его с помощью Apache Spark.

Я распаковал файл JSON и загрузил его в Apache Spark Container.

Вот мой контейнер подключение:

# In[ ]: 

credentials_1 = { 
    'auth_uri':'', 
    'global_account_auth_uri':'', 
    'username':'myUname', 
    'password':"myPw", 
    'auth_url':'https://identity.open.softlayer.com', 
    'project':'object_storage_988dfce6_5b93_48fc_9575_198bbed3abfc', 
    'project_id':'2c05de8a36d74d32bdbe0eeec7e5a372', 
    'region':'dallas', 
    'user_id':'4976489bab7d489f8d2eba681adacb78', 
    'domain_id':'8b6bc3e989d644858d7b74f24119447a', 
    'domain_name':'1079761', 
    'filename':'meta_Grocery_and_Gourmet_Food.json', 
    'container':'grocery', 
    'tenantId':'s31d-8e24c13d9c36f4-43b43b7b993d' 
} 

Затем я использовал образец Apache искры в импортировании данных из контейнера в StringIO

# In[ ]: 

import requests, StringIO, pandas as pd, json, re 


    # In[ ]: 

    def get_file_content(credentials): 
     """For given credentials, this functions returns a StringIO object containing the file content.""" 

     url1 = ''.join([credentials['auth_url'], '/v3/auth/tokens']) 
     data = {'auth': {'identity': {'methods': ['password'], 
       'password': {'user': {'name': credentials['username'],'domain': {'id': credentials['domain_id']}, 
       'password': credentials['password']}}}}} 
     headers1 = {'Content-Type': 'application/json'} 
     resp1 = requests.post(url=url1, data=json.dumps(data), headers=headers1) 
     resp1_body = resp1.json() 
     for e1 in resp1_body['token']['catalog']: 
      if(e1['type']=='object-store'): 
       for e2 in e1['endpoints']: 
        if(e2['interface']=='public'and e2['region']==credentials['region']): 
         url2 = ''.join([e2['url'],'/', credentials['container'], '/', credentials['filename']]) 
     s_subject_token = resp1.headers['x-subject-token'] 
     headers2 = {'X-Auth-Token': s_subject_token, 'accept': 'application/json'} 
     resp2 = requests.get(url=url2, headers=headers2) 
     return StringIO.StringIO(resp2.content) 

тогда я преобразовал содержимое строки строгого шаблона JSON путем добавления [и] в начале и в конце и путем разделения данных запятой.

print('----------------------\n') 

import json 

myDf=[]; 

def parse(data): 
    for l in data: 
     yield json.dumps(eval(l)) 

def getDF(data): 
    st='[' 
    i = 0 
    df =[] 
    for d in parse(data): 
     if i<100: 
      i += 1 
      #print(str(d)) 
      st=st+str(d)+',' 
      #print('----------------\n') 
    st=st[:-1] 
    st=st+']' 
    #js=json.loads(st) 
    #print(json.dumps(js)) 
    return pd.read_json(st) 

content_string = get_file_content(credentials_1) 

df = getDF(content_string) 
df.head() 

Я получаю совершенно желательный результат. Output of the code

Проблема в том, что когда я удаляю состояние, он просто не завершается, и ядро ​​остается занятым более часа.

Есть ли какие-либо другие элегантные способы преобразования данных в dataframe?

Кроме того, ijson недоступен с ноутбуком Bluemix.

Answer 1

Позвольте мне ответить на этот вопрос на две части: -

1. Вы можете установить ijson в вашей bluemix искрового службы с помощью следующей команды, а затем пользователь import ijson в дальнейшем использовать его в соответствии с вашими использования.

   !pip install --user ijson

2. Вы можете использовать sqlContext.jsonFile читать JSON из хранилища объектов, а не обходя определить вашу схему. Это даже выведет схему для вас, а затем вы можете запустить несколько запросов spark-sql, чтобы делать все, что хотите, с помощью dataframe.

   df = sqlContext.jsonFile("swift://" + objectStorageCreds['container'] + "." + objectStorageCreds['name'] + "/" + objectStorageCreds['filename'])

Вот ссылка для завершения notebook.

Если вы должны работать с пандами dataframe, вы можете просто преобразовать его в

df.toPandas().head() 

Но это приведет к тому, чтобы получить все, что на узле драйвера (используйте внимательно).

Thanks, Charles.