Улучшить скорость скрипта Python: многопоточность или несколько экземпляров?

Question

У меня есть сценарий Python, который я хотел бы запускать каждый день, и я бы предпочел, чтобы его работала всего 1-2 часа. В настоящее время он настроен на использование 4 различных API-интерфейсов для заданного URL-адреса, получения результатов и сохранения данных в базе данных PostgreSQL. Проблема в том, что у меня более 160 000 URL-адресов, и сценарий заканчивается очень долго - я провел некоторые предварительные тесты, и для каждого URL в его текущем формате потребуется более 36 часов. Итак, мой вопрос сводится к: следует ли оптимизировать мой скрипт для одновременного запуска нескольких потоков? Или я должен масштабировать количество серверов, которые я использую? Очевидно, что второй подход будет более дорогостоящим, поэтому я бы предпочел, чтобы в одном экземпляре выполнялось несколько потоков.

Я использую созданную мной библиотеку (SocialAnalytics), которая предоставляет методы для ударов по различным конечным точкам API и анализа результатов. Вот как я мой сценарий конфигурации:

import psycopg2 
from socialanalytics import pinterest 
from socialanalytics import facebook 
from socialanalytics import twitter 
from socialanalytics import google_plus 
from time import strftime, sleep 

conn = psycopg2.connect("dbname='***' user='***' host='***' password='***'") 
cur = conn.cursor() 

# Select all URLs 
cur.execute("SELECT * FROM urls;") 
urls = cur.fetchall() 

for url in urls: 

    # Pinterest 
    try: 
     p = pinterest.getPins(url[2]) 
    except: 
     p = { 'pin_count': 0 } 
    # Facebook 
    try: 
     f = facebook.getObject(url[2]) 
    except: 
     f = { 'comment_count': 0, 'like_count': 0, 'share_count': 0 } 
    # Twitter 
    try: 
     t = twitter.getShares(url[2]) 
    except: 
     t = { 'share_count': 0 } 
    # Google 
    try: 
     g = google_plus.getPlusOnes(url[2]) 
    except: 
     g = { 'plus_count': 0 } 

    # Save results 
    try: 
     now = strftime("%Y-%m-%d %H:%M:%S") 
     cur.execute("INSERT INTO social_stats (fetched_at, pinterest_pins, facebook_likes, facebook_shares, facebook_comments, twitter_shares, google_plus_ones) VALUES(%s, %s, %s, %s, %s, %s, %s, %s);", (now, p['pin_count'], f['like_count'], f['share_count'], f['comment_count'], t['share_count'], g['plus_count'])) 
     conn.commit() 
    except: 
     conn.rollback() 

Вы можете видеть, что каждый вызов API использует Requests library, который является синхронным, блокируя дело. После некоторых предварительных исследований я обнаружил Treq, который является API поверх Twisted. Асинхронный, неблокирующий характер Twisted кажется хорошим кандидатом для улучшения моего подхода, но я никогда не работал с ним, и я не уверен, как именно (и если) это поможет мне достичь моей цели.

Любое руководство очень ценится!

Answer 1

Сначала вы должны измерить время, которое ваш сценарий проводит на каждом шагу. Может быть, вы обнаружите что-то интересное :)

Во-вторых, вы можете разделить ваши URLs на куски:

chunk_size = len(urls)/cpu_core_count; // don't forget about remainder of division

После выполнения этих шагов можно использовать multiprocessing для обработки каждого куска параллельно. Вот вам пример:

import multiprocessing as mp 

p = mp.Pool(5) 

# first solution 
for urls_chunk in urls: # urls = [(url1...url6),(url7...url12)...] 
    res = p.map(get_social_stat, urls_chunk) 
    for record in res: 
     save_to_db(record) 

# or, simple 
res = p.map(get_social_stat, urls) 

for record in res: 
    save_to_db(record) 

Также gevent может вам помочь. Потому что он может оптимизировать затраты времени на обработку последовательности синхронных запросов блокировки.