Как автоматически вычитать пользовательский контент?

Question

Я запустил веб-сайт, который позволяет пользователям писать блог-пост, я бы очень хотел обобщить написанный контент и использовать его, чтобы заполнить, например, файл <meta name="description".../>.

Какие методы я могу использовать для автоматического суммирования/описания содержимого созданного пользователем контента?
Есть ли какие-либо (предпочтительно свободные) методы, которые решили эту проблему?

(я видел других сайты просто скопировать первое 100 или около того слова, но это поражает меня как неоптимальное решение.)

Answer 1

Подумайте о задаче обобщения как о вызове «выбрать наиболее важные предложения» из документа.

Способ, описанный в пункте The Automatic Creation of Literature Abstracts H.P. Лун (1958) описывает наивный метод, который действительно хорошо работает. Попробуйте сделать снимок.

Если ваш сайт находится в кодировке Python, этот алгоритм с использованием NLTK (Natural Language Toolkit) - забавная задача.

Answer 2

Я мог бы попробовать использовать механическую турку или любое количество других опций краудсорсинга.

Answer 3

Это граничит с искусственным интеллектом, поэтому там не будет «легкого» решения, но есть продукты, которые нацелены на эту проблему.

Отъезд Copernic Summarizer, для одного.

Answer 4

Другой пункт, чтобы проверить, проект SourceForge, AutoSummary Semantic Analysis Engine

Answer 5

Не простая задача ... Вы должны искать статьи или книги на «extractive summarization»

Несколько стартеров может быть:

Книги:

• Natural Language Processing with Python
• Foundations of Statistical Natural Language Processing

Статьи:

• Language independent extractive summarization
• Extractive summarization: how to identify the gist of a text
• Extractive Summarization using Inter- and Intra- Event Relevance

Answer 6

Сделать это предсказуемо.

С точки зрения пользователей просто использование первого абзаца неплохое. В некоторых случаях любая автоматизация неизбежно падает. Поэтому я предлагаю отобразить первый абзац (возможно, усекающийся в какой-то момент) в виде сводки и предлагать возможность переопределить его по необязательному полю.

Answer 7

Yahoo имеет свободный API для этого: http://developer.yahoo.com/search/content/V1/termExtraction.html

Answer 8

Именные обычно, как правило, являются важными элементами предложения. Выбор предложения (ов) с высокой плотностью именных фраз может дать хорошее резюме. Вы можете получить существительные фразы, используя теггер POS.

Для хорошего резюме желательно, чтобы это содержательное предложение. Чтение сломанного предложения слегка раздражает.

Answer 9

компании Apple patent 6424362 - Auto-summary of document content содержит пример кода, который может быть полезен ...

Answer 10

В качестве альтернативы, когда автор сообщения в статье, автор может выделить то, что ключевые слова, которые могут быть использованы в описании, которое затем может быть автоматически поставить в теге метаописания.