Я занимаюсь обширной работой с различными списками слов.Преобразование списка слов в список частоты появления этих слов
Пожалуйста, обратите внимание на следующий вопрос, что у меня есть:
docText={"settlement", "new", "beginnings", "wildwood", "settlement", "book",
"excerpt", "agnes", "leffler", "perry", "my", "mother", "junetta",
"hally", "leffler", "brought", "my", "brother", "frank", "and", "me",
"to", "edmonton", "from", "monmouth", "illinois", "mrs", "matilda",
"groff", "accompanied", "us", "her", "husband", "joseph", "groff",
"my", "father", "george", "leffler", "and", "my", "uncle", "andrew",
"henderson", "were", "already", "in", "edmonton", "they", "came",
"in", "1910", "we", "arrived", "july", "1", "1911", "the", "sun",
"was", "shining", "when", "we", "arrived", "however", "it", "had",
"been", "raining", "for", "days", "and", "it", "was", "very",
"muddy", "especially", "around", "the", "cn", "train"}
searchWords={"the","for","my","and","me","and","we"}
Каждый из этих списков гораздо больше (скажем, 250 слов в searchWords
списке и docText
быть около 12 000 слов).
Прямо сейчас, у меня есть возможность выяснить частоту данного слова, делая что-то вроде:
docFrequency=Sort[Tally[docText],#1[[2]]>#2[[2]]&];
Flatten[Cases[docFrequency,{"settlement",_}]][[2]]
Но где я получаю зацикливаться на моих поисках, чтобы генерировать специальные списки. В частности, проблема преобразования списка слов в список частоты появления этих слов. Я попытался сделать это с помощью петель Do
, но ударил стену.
Я хочу пройти docText
с помощью searchWords
и заменить каждый элемент документа docText на частоту его появления. То есть так как «поселение» появляется дважды, оно будет заменено на 2 в списке, тогда как «мой» появится 3 раза, он станет 3. Список будет тогда чем-то вроде 2,1,1,1,2, и поэтому вперед.
Я подозреваю, что ответ лежит где-то в If[]
и Map[]
?
Все это звучит странно, но я пытаюсь предварительно обработать кучу информации для информации термина частоты ...
Дополнения для ясности (я надеюсь):
Вот лучший пример.
searchWords={"0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "a", "A", "about",
"above", "across", "after", "again", "against", "all", "almost",
"alone", "along", "already", "also", "although", "always", "among",
"an", "and", "another", "any", "anyone", "anything", "anywhere",
"are", "around", "as", "at", "b", "B", "back", "be", "became",
"because", "become", "becomes", "been", "before", "behind", "being",
"between", "both", "but", "by", "c", "C", "can", "cannot", "could",
"d", "D", "do", "done", "down", "during", "e", "E", "each", "either",
"enough", "even", "ever", "every", "everyone", "everything",
"everywhere", "f", "F", "few", "find", "first", "for", "four",
"from", "full", "further", "g", "G", "get", "give", "go", "h", "H",
"had", "has", "have", "he", "her", "here", "herself", "him",
"himself", "his", "how", "however", "i", "I", "if", "in", "interest",
"into", "is", "it", "its", "itself", "j", "J", "k", "K", "keep", "l",
"L", "last", "least", "less", "m", "M", "made", "many", "may", "me",
"might", "more", "most", "mostly", "much", "must", "my", "myself",
"n", "N", "never", "next", "no", "nobody", "noone", "not", "nothing",
"now", "nowhere", "o", "O", "of", "off", "often", "on", "once",
"one", "only", "or", "other", "others", "our", "out", "over", "p",
"P", "part", "per", "perhaps", "put", "q", "Q", "r", "R", "rather",
"s", "S", "same", "see", "seem", "seemed", "seeming", "seems",
"several", "she", "should", "show", "side", "since", "so", "some",
"someone", "something", "somewhere", "still", "such", "t", "T",
"take", "than", "that", "the", "their", "them", "then", "there",
"therefore", "these", "they", "this", "those", "though", "three",
"through", "thus", "to", "together", "too", "toward", "two", "u",
"U", "under", "until", "up", "upon", "us", "v", "V", "very", "w",
"W", "was", "we", "well", "were", "what", "when", "where", "whether",
"which", "while", "who", "whole", "whose", "why", "will", "with",
"within", "without", "would", "x", "X", "y", "Y", "yet", "you",
"your", "yours", "z", "Z"}
Это автоматически генерируемые стоп-слова от WordData[]
. Поэтому я хочу сравнить эти слова с docText. Поскольку «поселение» НЕ является частью searchWords
, тогда оно будет выглядеть как 0. Но поскольку «мой» является частью searchWords
, он будет отображаться как счетчик (чтобы я мог указать, сколько раз это слово появляется).
Я действительно благодарю вас за помощь. Я с нетерпением жду возможности принять некоторые официальные курсы в ближайшее время, поскольку я натыкаюсь на край своей способности действительно объяснить, что я хочу делать!
Вам нужно * только * обрабатывать те слова, которые появляются в 'searchWords'? Что происходит с остальными в 'docWords'? – Szabolcs
@Szabolcs Если они не отображаются, они должны отображаться как 0. В предыдущей программе я использовал 'If', чтобы преобразовать ее в 0, потому что я получил бы нулевую ошибку. –
Я до сих пор не понимаю полностью. Можете ли вы объяснить роль 'searchWords'? – Szabolcs