Самый быстрый способ проверить, есть ли элемент в списке - Python

Question

У меня возникла проблема с составлением словаря на языке python. Мой код проходит через каждое слово в документе объемом около 2,3 МБ и проверяет, находится ли оно в словаре, если оно нет, оно добавляется к списку

Проблема заключается в том, что она занимает много времени (Я даже не получил его до конца). Как я могу это решить?

Код:

words = [("_", "hello"), ("hello", "world"), ("world", "."), (".", "_")] # List of a ton of tuples of words 
vocab = [] 
for w in words: 
    if not w in vocab: 
     vocab.append(w) 

Answer 1

Если вам нужно vocab иметь определенный порядок, вы можете просто сделать:

vocab = set(words) 

Answer 2

Следующий тест для сравнения времени выполнения для цикла и set() :

import random 
import time 
import string 


words = [''.join(random.sample(string.letters, 5)) for i in range(1000)]*10 # *10 to make duplicates! 

vocab1 = [] 

t1 = time.time() 
for w in words: 
    if w not in vocab1: 
     vocab1.append(w) 
t2 = time.time() 

t3 = time.time() 
vocab2 = set(words) 
t4 = time.time() 

print t2 - t1 
print t4 - t3 

Выход:

0.0880000591278 # Using for loop 
0.000999927520752 # Using set()