Оптимизация для кода Python

Question

У меня есть небольшая функция (см. Ниже), которая возвращает список имен, которые отображаются из списка целых чисел (например, [1,2,3,4]), который может иметь длину до тысяча.

Эта функция может быть вызвана десятками тысяч раз за раз, и я хочу знать, могу ли я что-либо сделать, чтобы она работала быстрее.

graph_hash - большой хэш, который отображает ключи на наборы длиной 1000 или меньше. Я повторяю набор и сопоставляю значения с именами и возвращаю список. u.get_name_from_id() запрашивает базу данных sqlite.

Любые мысли для оптимизации любой части этой функции?

def get_neighbors(pid): 
    names = [] 
    for p in graph_hash[pid]: 
     names.append(u.get_name_from_id(p)) 
    return names 

Answer 1

Я бы рекомендовал использовать deque вместо list если вы делаете тысячи в конце. Таким образом, names должен быть names = deque().

Answer 2

Вы ударять последовательно базы данных здесь:

for p in graph_hash[pid]: 
    names.append(u.get_name_from_id(p)) 

Я бы рекомендовал делать это одновременно с использованием потоков. Что-то, как это должно вам начать:

def load_stuff(queue, p): 
    q.put(u.get_name_from_id(p)) 

def get_neighbors(pid): 
    names = Queue.Queue() 
    # we'll keep track of the threads with this list 
    threads = [] 
    for p in graph_hash[pid]: 
     thread = threading.Thread(target=load_stuff, args=(names,p)) 
     threads.append(thread) 
     # start the thread 
     thread.start() 
    # wait for them to finish before you return your Queue 
    for thread in threads: 
     thread.join() 
    return names 

Вы можете превратить Queue обратно в список с [item for item in names.queue], если это необходимо.

Идея состоит в том, что вызовы базы данных блокируются до тех пор, пока они не будут выполнены, но вы можете сделать несколько операторов SELECT в базе данных без блокировки. Таким образом, вы должны использовать потоки или какой-либо другой метод параллелизма, чтобы избежать ненужного ожидания.

Answer 3

Кэширование и многопоточность пока вас доставят, вы должны создать новый метод, который использует executemany под капотом для извлечения нескольких имен из базы данных в массовом порядке.

Нечто вроде names = u.get_names_from_ids(graph_hash[pid]).

Answer 4

список понимание есть начало (аналогично-х @ cricket_007 генератор предложение), но вы ограничены вызовы функций:

def get_neighbors(pid): 
    return [u.get_name_from_id(p) for p in graph_hash[pid]] 

Как @salparadise предложил рассмотреть memoization ускорить get_name_from_id().