фильтровать слова из одного текстового файла в другом текстовом файле?

Question

У меня есть файл, который представляет собой список слов - одно слово в каждой строке - filterlist.txt. Другой файл представляет собой гигантскую строку text- text.txt.

Я хочу найти все экземпляры слов из файла filterlist.txt в text.txt и удалить их.

Вот что я до сих пор:

text = open('ttext.txt').read().split() 
filter_words = open('filterlist.txt').readline() 

for line in text: 
    for word in filter_words: 
     if word == filter_words: 
      text.remove(word) 

Answer 1

магазин фильтра слов в наборе, перебирать слова из строки в ttext.txt, и только держать слова, которые не входят в набор фильтров слова.

with open('ttext.txt') as text, open('filterlist.txt') as filter_words: 
    st = set(map(str.rstrip,filter_words)) 
    txt = next(text).split() 
    out = [word for word in txt if word not in st] 

Если вы хотите игнорировать дело и удалить знаки препинания, вам необходимо позвонить ниже по каждой линии и полосы знаки препинания:

from string import punctuation 
with open('ttext.txt') as text, open('filterlist.txt') as filter_words: 
    st = set(word.lower().rstrip(punctuation+"\n") for word in filter_words) 
    txt = next(text).lower().split() 
    out = [word for word in txt if word not in st] 

Если у вас несколько строк в ttext использовании (word for line in text for word in line.split()) будет более эффективный подход к памяти.

Answer 2

Скажем, если это то, что у вас есть в файле text.txt: 'hello foo apple car water cat' и это то, что вы имеете в filterlist.txt файле: apple car

text = open('text.txt').read().strip("'").split(' ') 
    filter_words = open('filterlist.txt').readline().split() 
    for i in filter_words: 
     if i in text: 
      text.remove(i) 
      new_text = ' '.join(text) 
    print new_text 

Выход будет:

hello foo water cat 

Answer 3

Использование Принцип Padraic Cunningham i закодировал это в функции

from string import punctuation 

def vocab_filter(text, filter_vocab): 
    txt = text.replace('\n', ' ').lower().split() 
    out = [word for word in txt if word not in filter_vocab] 
    return out 

Очень важно использовать набор, а не список во втором аргументе. Поиск в списках - O (n), поиск в словарях амортизируется O (1). Поэтому для больших файлов это оптимально.