Как найти ключевые слова (полезные слова) из текста?

Question

Я делаю экспериментальный проект.

То, что я пытаюсь достичь, я хочу найти, что ключевые слова в этом тексте.

Как я пытаюсь это сделать, я составляю список того, сколько раз слово появляется в тексте, отсортированном по большинству используемых слов вверху.

Но проблема в некоторых распространенных словах, таких как есть, была, были всегда на высоте. По-видимому, это не стоит.

Можете ли вы предложить мне какую-нибудь хорошую логику для этого, поэтому он всегда находит хорошие ключевые слова?

Answer 1

Используйте что-то вроде Brill Parser, чтобы идентифицировать разные части речи, например существительные. Затем извлекайте только существительные и сортируйте их по частоте.

Answer 2

Ну, вы можете использовать preg_split для получения списка слов и того, как часто они происходят, я предполагаю, что это тот бит, с которым вы до сих пор работали.

Единственное, что я мог подумать о том, чтобы скрыть не важные слова, - это словарь слов, которые вы хотите игнорировать, содержащие «a», «I», «the», «and» и т. Д. Используйте это словарь для фильтрации нежелательных слов.

Почему вы это делаете, это для поиска содержимого страницы? Если это так, то большинство баз данных заднего плана предлагают некоторую функцию текстового поиска, и MySQL, и Postgres имеют полнотекстовую поисковую систему, например, которая автоматически отбрасывает несущественные слова. Я бы рекомендовал использовать полнотекстовые функции используемой базы данных, поскольку, скорее всего, они уже внедряют то, что соответствует вашим требованиям.

Answer 3

Моим первым подходом к чему-то подобному было бы более математическое моделирование, чем чистое программирование.

есть два «простых» способа, которыми вы можете атаковать такую ​​проблему; a) список исключений (наказывать коллекцию слов, которые вы считаете бесполезными) b) использовать весовую функцию, которая для ex. основывается на длине слова, таким образом, небольшие слова, такие как предлоги (in, at ...) и местоимения (я, вы, я, его ...) будут оштрафованы и, надеюсь, упадут на середину стола

Я не конечно, если это то, что вы искали, но я надеюсь, что это поможет. Кстати, я знаю, что контекстная обработка текста является предметом активных исследований, вы можете найти ряд проектов, которые могут быть интересными.