Как ускорить запросы API?

Question

Я построил следующую небольшую программу для получения телефонных номеров с использованием google-сайта api, но это довольно медленно. Когда я тестирую 6 предметов, это занимает от 4,88 до 1,99, и я не уверен, почему произошли значительные изменения во времени. Я очень новичок в API, поэтому я даже не уверен, какие вещи могут/не могут быть ускорены, какие вещи остались на веб-сервере, обслуживающем API, и что я могу изменить сам.

import requests,json,time 
searchTerms = input("input places separated by comma") 

start_time = time.time() #timer 
searchTerms = searchTerms.split(',') 
for i in searchTerms: 
    r1 = requests.get('https://maps.googleapis.com/maps/api/place/textsearch/json?query='+ i +'&key=MY_KEY') 
    a = r1.json() 
    pid = a['results'][0]['place_id'] 
    r2 = requests.get('https://maps.googleapis.com/maps/api/place/details/json?placeid='+pid+'&key=MY_KEY') 
    b = r2.json() 
    phone = b['result']['formatted_phone_number'] 
    name = b['result']['name'] 
    website = b['result']['website'] 
    print(phone+' '+name+' '+website) 

print("--- %s seconds ---" % (time.time() - start_time)) 

Answer 1

Возможно, вы захотите отправить запросы параллельно. Python предоставляет модуль multiprocessing, который подходит для такой задачи.

Пример кода:

from multiprocessing import Pool 

def get_data(i): 
    r1 = requests.get('https://maps.googleapis.com/maps/api/place/textsearch/json?query='+ i +'&key=MY_KEY') 
    a = r1.json() 
    pid = a['results'][0]['place_id'] 
    r2 = requests.get('https://maps.googleapis.com/maps/api/place/details/json?placeid='+pid+'&key=MY_KEY') 
    b = r2.json() 
    phone = b['result']['formatted_phone_number'] 
    name = b['result']['name'] 
    website = b['result']['website'] 
    return ' '.join((phone, name, website)) 

if __name__ == '__main__': 
    terms = input("input places separated by comma").split(",") 
    with Pool(5) as p: 
     print(p.map(get_data, terms)) 

Answer 2

Большую часть времени не потратил, вычисляя ваш запрос. Время тратится на связь с сервером. Это то, что вы не можете контролировать.

Однако вы можете ускорить его, используя распараллеливание. Создайте отдельный поток для каждого запроса в начале.

from threading import Thread 

def request_search_terms(*args): 
    #your logic for a request goes here 
    pass 

#... 

threads = [] 
for st in searchTerms: 
    threads.append (Thread (target=request_search_terms, args=(st,))) 
    threads[-1].start() 

for t in threads: 
    t.join(); 

Затем используйте пул потоков по мере увеличения количества запросов, что позволит избежать накладных расходов на создание повторяющихся потоков.

Answer 3

вопрос о задержке между клиентом и серверами, вы ничего не можете изменить таким образом, если вы не используете несколько серверов (ближайший сервер к клиенту получает запрос).

С точки зрения производительности вы можете создать систему мультиотверждения, которая может одновременно передавать несколько запросов.