Недавно я написал решение для этого. Мое решение не является доказательством дурака, и я не думаю, что он был бы жизнеспособным для вычислений для большого количества текста, но мне кажется, что он хорошо подходит для небольших предложений.
Предположим, у вас есть две строки текста:
- "LETMEBEGINBYSAYINGTHANKS"
- "UNGHSYINDJFHAKJSNFNDKUAJUD"
затем Цель состоит в том, чтобы определить, что: 1. Вероятно, в то время как английский 2. не , Интуитивно то, как мой разум определяет это, - это поиск словесных границ английских слов в предложениях (LET, ME, BEGIN и т. Д.). Но это не просто вычислительно, потому что есть перекрывающиеся слова (BE, GIN, BEGIN, SAY, SAYING, THANK, THANKS и т. Д.).
Мой метод выполняет следующие действия:
- Возьмите пересечение
{ known English words } и { all substrings of the text of all lengths }.
- Построить граф вершин, положением которых являются начальные индексы слов в предложении, с направленными ребрами в начальные позиции буквы после окончания слова. Например,
(0) будет L, поэтому «LET» может быть представлено (0) -> (3), где (3) - M, так что это «LET ME».
- Найти наибольшее целое число
n между 0 и len(text), для которого существует простой направленный путь от индекса 0 до индекса n.
- Разделите этот номер
n на длину текста, чтобы получить приблизительное представление о том, какой процент текста представляет собой последовательные английские слова.
Обратите внимание, что мой код не допускает пробелов между словами, но я думаю, вы могли бы легко адаптировать его для рассмотрения пробелов. Не для того, чтобы мой код работал, вам нужен английский файл списка слов. Я получил один от here, но вы можете использовать любой такой файл, и я предполагаю, что таким образом эта техника может быть распространена и на другие языки.
Вот код:
from collections import defaultdict
# This function tests what percent of the string seems to me to be maybe
# English-language
# We use an English words list from here:
# https://github.com/first20hours/google-10000-english
def englishness(maybeplaintext):
maybeplaintext = maybeplaintext.lower()
f = open('words.txt', 'r')
words = f.read()
f.close()
words = words.lower().split("\n")
letters = [c for c in maybeplaintext]
# Now let's iterate over letters and look for some English!
wordGraph = defaultdict(list)
lt = len(maybeplaintext)
for start in range(0, lt):
st = lt - start
if st > 1:
for length in range(2, st):
end = start + length
possibleWord = maybeplaintext[start:end]
if possibleWord in words:
if not start in wordGraph:
wordGraph[start] = []
wordGraph[start].append(end)
# Ok, now we have a big graph of words.
# What is the shortest path from the first letter to the last letter,
# moving exclusively through the English language?
# Does any such path exist?
englishness = 0
values = set([a for sublist in list(wordGraph.values()) for a in sublist])
numberVertices = len(set(wordGraph.keys()).union(values))
for i in range(2, lt):
if isReachable(numberVertices, wordGraph, i):
englishness = i
return englishness/lt
# Here I use my modified version of the technique from:
# https://www.geeksforgeeks.org/
# find-if-there-is-a-path-between-two-vertices-in-a-given-graph/
def isReachable(numberVertices, wordGraph, end):
visited = [0]
queue = [0]
while queue:
n = queue.pop(0)
if n == end or n > end:
return True
for i in wordGraph[n]:
if not i in visited:
queue.append(i)
visited.append(i)
return False
А вот I/O для начальных примеров, которые я дал:
In [5]: englishness('LETMEBEGINBYSAYINGTHANKS')
Out[5]: 0.9583333333333334
In [6]: englishness('UNGHSYINDJFHAKJSNFNDKUAJUD')
Out[6]: 0.07692307692307693
Итак примерно говоря, я 96% уверен, что LETMEBEGINBYSAYINGTHANKS является английский, и 8% уверены, что UNGHSYINDJFHAKJSNFNDKUAJUD - английский. Что звучит правильно!
Чтобы распространить это на гораздо большие фрагменты текста, моим предложением было бы подвыбрать случайные короткие подстроки и проверить их «английскую». Надеюсь это поможет!
Возможный дубликат [Python - могу ли я определить код языка юникода?] (Http://stackoverflow.com/questions/4545977/python-can-i-detect-unicode-string-language-code) – ismail
I ' m просят только на английском языке, в отличие от этой темы, где они просят любой произвольный язык. – user449511
Он просто отлично работает на английском языке. – ismail