Обнаружение английских слов в тексте

Question

У меня есть набор данных, который сканируется, но также содержит записи, в которых много мусора.

Name: sdfsdfsdfsd 
Location: asdfdgdfjkgdsfjs 
Education: Science & Literature 

В настоящее время он хранится в MySQL и Solr.
Есть ли библиотека, которая может искать английские слова в этих полях, чтобы я мог устранить значения мусора? Я считаю, что для этого нужен словарь, а стандартный словарь unix в /usr/share/dict/ кажется достаточно для этого прецедента.

Answer 1

with open('/usr/share/dict/words') as f: 
    words = set(word.lower() for word in f.read().split() 
       # Really short words aren't much of an indication 
       if len(word) > 3) 

def is_english(text): 
    return bool(words.intersection(text.lower().split())) 
    # or 
    return any(word in words for word in text.lower().split()) 

print(is_english('usfdbg dsuyfbg cat')) 
print(is_english('Science & Literature'))