Сравнение списка строк с доступным словарем/тезауром

Question

У меня есть программа (C#), которая генерирует список строк (перестановки исходной строки). Большинство строк представляют собой случайную группировку исходных букв, как ожидалось (т.е. etam, aemt, team). Я хочу найти одну строку в списке, которая является актуальным английским словом, программно. Мне нужен словарь тезауруса/словаря для поиска и сравнения каждой строки. Любой знает доступный ресурс. Im использует VS2008 в C#.

Answer 1

Вы можете загрузить список слов из Интернета (например один из файлов, упомянутых здесь: http://www.outpost9.com/files/WordLists.html), то затем сделать быстрый:

// Read words from file. 
string [] words = ReadFromFile(); 

Dictionary<String, List<String>> permuteDict = new Dictionary<String, List<String>>(StringComparer.OrdinalIgnoreCase); 

foreach (String word in words) { 
    String sortedWord = new String(word.ToArray().Sort()); 
    if (!permuteDict.ContainsKey(sortedWord)) { 
     permuteDict[sortedWord] = new List<String>(); 
    } 
    permuteDict[sortedWord].Add(word); 
} 

// To do a lookup you can just use 

String sortedWordToLook = new String(wordToLook.ToArray().Sort()); 

List<String> outWords; 
if (permuteDict.TryGetValue(sortedWordToLook, out outWords)) { 
    foreach (String outWord in outWords) { 
     Console.WriteLine(outWord); 
    } 
} 

Answer 2

Вы также можете использовать Wiktionary. API MediaWiki (Wikionary использует MediaWiki) позволяет запрашивать список названий статей. В wiktionary названия статей являются (помимо всего прочего) словами в словаре. Единственный улов заключается в том, что иностранные слова также находятся в словаре, поэтому иногда вы можете получить «неправильные» совпадения. Разумеется, вашему пользователю также потребуется доступ в Интернет. Вы можете получить помощь и информацию по API по адресу: http://en.wiktionary.org/w/api.php

Вот пример вашего URL запроса:

http://en.wiktionary.org/w/api.php?action=query&format=xml&titles=dog|god|ogd|odg|gdo 

Это возвращает следующий XML:

<?xml version="1.0"?> 
<api> 
    <query> 
    <pages> 
     <page ns="0" title="ogd" missing=""/> 
     <page ns="0" title="odg" missing=""/> 
     <page ns="0" title="gdo" missing=""/> 
     <page pageid="24" ns="0" title="dog"/> 
     <page pageid="5015" ns="0" title="god"/> 
    </pages> 
    </query> 
</api> 

В C#, вы можете используйте System.Xml.XPath, чтобы получить нужные вам части (страницы с помощью pageid). Это «настоящие слова».

Я написал реализацию и протестировал ее (используя простой пример «собака» сверху). Он вернул только «собаку» и «бог». Вы должны проверить его более широко.

public static IEnumerable<string> FilterRealWords(IEnumerable<string> testWords) 
{ 
    string baseUrl = "http://en.wiktionary.org/w/api.php?action=query&format=xml&titles="; 
    string queryUrl = baseUrl + string.Join("|", testWords.ToArray()); 

    WebClient client = new WebClient(); 
    client.Encoding = UnicodeEncoding.UTF8; // this is very important or the text will be junk 

    string rawXml = client.DownloadString(queryUrl); 

    TextReader reader = new StringReader(rawXml); 
    XPathDocument doc = new XPathDocument(reader); 
    XPathNavigator nav = doc.CreateNavigator(); 
    XPathNodeIterator iter = nav.Select(@"//page"); 

    List<string> realWords = new List<string>(); 
    while (iter.MoveNext()) 
    { 
     // if the pageid attribute has a value 
     // add the article title to the list. 
     if (!string.IsNullOrEmpty(iter.Current.GetAttribute("pageid", ""))) 
     { 
      realWords.Add(iter.Current.GetAttribute("title", "")); 
     } 
    } 

    return realWords; 
} 

Зов это следующим образом:

IEnumerable<string> input = new string[] { "dog", "god", "ogd", "odg", "gdo" }; 
IEnumerable<string> output = FilterRealWords(input); 

Я попытался с помощью LINQ к XML, но я не знаком с ним, так что это была боль, и я отказался от него.