Как удалить список слов из списка строк

Question

Извините, если вопрос немного запутан. Это похоже на this question

Я думаю, что вышеупомянутый вопрос близок к тому, что я хочу, но в Clojure.

Существует another вопрос

мне нужно что-то вроде этого, но вместо '[ш] в этом вопросе, есть список строк, которые должны быть найдены и удалены.

Надеюсь, я поняла.

Я думаю, что это связано с тем, что строки в python неизменяемы.

У меня есть список шумовых слов, которые нужно удалить из списка строк.

Если я использую понимание списка, я в конечном итоге снова и снова повторяю одну и ту же строку. Таким образом, удаляется только «из», а не «the». Поэтому мой измененный список выглядит так:

places = ['New York', 'the New York City', 'at Moscow' and many more] 

noise_words_list = ['of', 'the', 'in', 'for', 'at'] 

for place in places: 
    stuff = [place.replace(w, "").strip() for w in noise_words_list if place.startswith(w)] 

Я хотел бы знать, что я делаю.

Answer 1

Вот мой удар по нему. Это использует регулярные выражения.

import re 
pattern = re.compile("(of|the|in|for|at)\W", re.I) 
phrases = ['of New York', 'of the New York'] 
map(lambda phrase: pattern.sub("", phrase), phrases) # ['New York', 'New York'] 

Sans lambda:

[pattern.sub("", phrase) for phrase in phrases] 

Update

Исправлена ​​ошибка указал gnibbler (спасибо!):

pattern = re.compile("\\b(of|the|in|for|at)\\W", re.I) 
phrases = ['of New York', 'of the New York', 'Spain has rain'] 
[pattern.sub("", phrase) for phrase in phrases] # ['New York', 'New York', 'Spain has rain'] 

@prabhu: выше изменения избегает обрезки задних "в "от" Испания ". Чтобы проверить запуск обеих версий регулярных выражений по фразе «Испания имеет дождь».

Answer 2

>>> import re 
>>> noise_words_list = ['of', 'the', 'in', 'for', 'at'] 
>>> phrases = ['of New York', 'of the New York'] 
>>> noise_re = re.compile('\\b(%s)\\W'%('|'.join(map(re.escape,noise_words_list))),re.I) 
>>> [noise_re.sub('',p) for p in phrases] 
['New York', 'New York'] 

Answer 3

Поскольку вы хотели бы знать, что вы делаете неправильно, эта линия:

stuff = [place.replace(w, "").strip() for w in noise_words_list if place.startswith(w)] 

происходит, а затем начинает перебрать слов. Сначала он проверяет «из». Ваше место (например, «Нью-Йорк») проверяется, чтобы узнать, начинается ли оно с «из». Он преобразуется (вызов для замены и разметки) и добавляется в список результатов. Решающее значение здесь заключается в том, что результат никогда не рассматривается снова. Для каждого слова, которое вы перебираете в понимании, новый результат добавляется в список результатов. Итак, следующее слово «the», и ваше место («из Нью-Йорка») не начинается с «the», поэтому новый результат не добавляется.

Я предполагаю, что результат, который вы получили, в конечном итоге является конкатенацией переменных вашего места. Более простой читать и понимать процедурный вариант будет (непроверенные):

results = [] 
for place in places: 
    for word in words: 
     if place.startswith(word): 
      place = place.replace(word, "").strip() 
    results.append(place) 

Имейте в виду, что replace() удалит слово в любом месте строки, даже если это происходит в виде простой подстроки. Вы можете избежать этого, используя регулярные выражения с шаблоном примерно ^the\b.

Answer 4

Без регулярных выражений вы могли бы сделать так:

places = ['of New York', 'of the New York'] 

noise_words_set = {'of', 'the', 'at', 'for', 'in'} 
stuff = [' '.join(w for w in place.split() if w.lower() not in noise_words_set) 
     for place in places 
     ] 
print stuff