Python append json to json file в цикле while

Question

Я пытаюсь получить всю информацию о пользователях из GitHub API, используя библиотеку запросов Python. Вот мой код:

import requests 
import json 

url = 'https://api.github.com/users' 
token = "my_token" 
headers = {'Authorization': 'token %s' % token} 

r = requests.get(url, headers=headers) 
users = r.json() 
with open('users.json', 'w') as outfile: 
    json.dump(users, outfile) 

Я могу свернуть первую страницу пользователей в json-файл. Я также могу найти «следующий» URL страницы:

next_url = r.links['next'].get('url') 
r2 = requests.get(next_url, headers=headers) 
users2 = r2.json() 

Поскольку я не знаю, сколько страниц еще, как я могу добавить 2, 3 ... страницу в «users.json» последовательно в то время как можно быстрее?

Спасибо!

Answer 1

Во-первых, вам нужно открыть файл в «в» режиме, в противном случае подпоследовательности записи перезаписывает все,

import requests 
import json 

url = 'https://api.github.com/users' 
token = "my_token" 
headers = {'Authorization': 'token %s' % token} 

outfile = open('users.json', 'a') 

while True: 
    r = requests.get(url, headers=headers) 
    users = r.json() 
    json.dump(users, outfile) 
    url = r.links['next'].get('url') 
    # I don't know what Github return in case there is no more users, so you need to double check by yourself 
    if url == '': 
     break 

outfile.close() 

Answer 2

Добавить данные, полученные из запроса requests, в список и перейти к следующему запросу.

После того, как у вас есть все необходимые данные, перейдите к объединению данных в файл или в объект. Вы также можете использовать threading для параллельного выполнения нескольких запросов, но, скорее всего, будет ограничение скорости на api.