Найти элементы в списке парных элементов, используя другой список (Python)

Question

У меня есть два списка: один из них - это список из примерно 2 миллионов позиций хромосом (например, [9866, 9899, ​​10257 ....]). Другой - парный список с положением хромосом и pvalue (например, [(9866, 0.001), (9899, ​​0.05)] ...)

Я хотел бы получить значение p для выбранной 2-миллионной хромосомы , Мой код в настоящее время выглядит следующим образом:

Selection = [] 
    for i in selected indices: 
     for x in list(range(len(T3))): 
     if T3[x][0] == i: 
      b = T3[x][0],T3[x][1] 
      Selection.append(b) 

Есть ли самый быстрый способ сделать это? Очевидно, что это очень медленно, так как он выполняет итерацию для каждой строки в T3 и для каждого элемента в выбранных индексах. Я думал об использовании функции набора, но мой список T3 является списком сопряженных элементов

Answer 1

всего, более быстрый подход будет сделать отображение позиции в p-значение:

mapping = dict(T3) 

Тогда используйте это отображение:

selected_pvalues = [mapping[pos] for pos in positions] 

Примечание: mapping удалит все повторяющиеся позиции хромосом и только сохранить последнюю в исходном списке.

Answer 2

Я не уверен, что первый список содержит те же значения, что и первые элементы всех пар во втором (я предполагаю, что они не являются, или нет смысла их иметь).

Вы должны преобразовать список пар в словарь, а затем вы получите каждое значение в (обычно) O (1) сложности выполнения.

Редактировать

Хотя выше должны работать достаточно хорошо, ваш конкретный случай может также вызвать проблемы с памятью, так как вы имеете дело с миллиардами записей. В случае, когда преобразование списка пар в словарь занимает слишком много памяти и ухудшает общую производительность, вы можете использовать другой подход:

Измените первый (меньший) список на набор. Затем перейдите по списку пар, и для каждого элемента проверьте, находится ли он в этом наборе. Таким образом, вы по-прежнему будете иметь один проход над большей структурой, но вам потребуется гораздо меньше места.

Answer 3

Было бы лучше сохранить другой идентификатор для хромосом вторых списков. Это позволит вам создать словарь вместо второго списка. Например:

myTrillionsChromosomes = { 
    'chromosomeId': pValue, 
    ... 
} 

Edit: То есть, если вы можете контролировать строительство этих списков. Другой ответ описывает, как преобразовать список кортежей в dictionnary, но при максимальном размере этого списка это может быть не очень мудро.

Тогда вам просто нужно найти значение p в словаре, которое выполняется в постоянное время.

selection = [] 
for id in identifiersList: 
    selection.append((id, myTrillionsChromosomes[id])