2009-11-02 4 views
0

Я очень новичок в Python и стараюсь учиться в сочетании с использованием nltk.ошибки tokenizer с nltk

Я слежу за некоторыми примерами и проверял все, но кажется, что я очень ограничен в том, что я могу сделать из-за ошибок, возвращаемых python.

Я знаю, установлена ​​и импорт тонкой NLTK, потому что этот код работает

 
from nltk.sem import chat80 
print chat80.items 

Однако «от nltk.tokenizer импорта *» возвращает

'File "stdin", line1.
я получаю подобные ошибки при использовании любого рода «TOKEN =» или я угадываю токенизацию чего-либо.

Я установил python много раз за последние несколько дней, надеясь, что другая версия или лучше установить может помочь.

Я получаю эту ошибку на windows7 с помощью activePython2.6, хотя у меня есть аналогичные ошибки ors с python 3.1 activePython3.1 и Python 2.6. , а также на Mac OSx 10.5 с Python 2.5.

Маке дает немного больше данных с «Import Error: Нет. Модуль с именем Tokenizer

Я просто пытаюсь некоторые из вводного демоса в NLTK онлайн, даже не пытаясь писать свой собственный код еще, и я получаю больше ошибок, чем успехов.

ответ

3

Похоже, nltp пакет не имеет tokenizer пакет.

Беглый взгляд на веб-сайте NLTK предполагает, что from nltp.tokenize import * является то, что вы после этого.

+0

Спасибо Адаму. Я использовал «токенизатор», как я видел это во многих примерах, например «Начало работы с nltk» http://www.ibm.com/developerworks/linux/library/l-cpnltk.html - использование tokenize вместо tokenizer не работает при попытке определить токен. Поэтому я думаю, может быть, есть что-то вроде tokenizer, а не tokenize. – pedalpete

0

Ответ Адама вполне может быть правильным для вашей непосредственной проблемы «токенизатора». Вот некоторые общие рекомендации:

Это помогает, когда человек находится на незнакомой территории, чтобы читать дорожные знаки, например. это в верхней части страницы «Загрузка»: «Хотя Python 3.0 теперь доступен, многие пакеты, для которых требуется NLTK, не имеют дистрибутивов для Python 3.0. Теперь вы должны использовать NLTK с Python 2.4. , 2.5., или 2.6 . * only. "" "... это спасло бы вас от попыток Python 3.1. Более того, попытка изучить Python 2.x и 3.x в то же время слишком много для новичков.

«« Я установил python много раз за последние несколько дней, надеясь, что другая версия или лучше установить может помочь »« »... повторные установки той же версии вряд ли помогут.

"" "Однако from nltk.tokenizer import * возвращает File "stdin", line1" "" ... при обращении за помощью, покажите свой вход и ВСЕ выход, например.

>>> from nosuchthing import * 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
ImportError: No module named nosuchthing 
>>> 

и не следует использовать из памяти; используйте копию/вставку.

При столкновении с проблемой планируйте свое исследование возможных причин. Посмотрите на людей с высокой правдоподобием и низкой стоимостью исследования (например, опечатки или другой ошибки транскрипции). Я не могу вспомнить, где я читаю этот совет, но стоит вспомнить: «Прежде чем вы обвиняете действия Бога и поступки Гейтса, проверяйте на действия себя».

+0

Хотя вы правы, Джон, я прочитал документацию, но все время сталкивался с проблемами с nltk или easy_install, или почти все, что я делал за пределами «print» или «2 + 2» в python. поэтому я устанавливал разные версии, чтобы увидеть, могу ли я заставить их работать, и почему я, наконец, застрял с 2.6 на ПК и 2.5 на Mac, когда все остальное не получилось. Также «токенизатор» регулярно используется во всех примерах кода, на которые я смотрел, даже из группы nltk. следовательно, я пытаюсь использовать это, а не tokenize. – pedalpete

+0

@pedalpete: Вы говорите, что читаете документы. Посмотрите еще раз на 'http: // nltk.googlecode.com/svn/trunk/doc/api/index.html' ... вы видите модуль токенизатора или модуль токенизации? Эта статья developerworks, о которой вы упомянули в другом комментарии, старше 5 лет. Очень быстрый взгляд на svn repo показывает токенизатор в nltk-old с датой 2004 года. Подсказка: всегда рассказывайте о текущей документации, а не о том, что вы делаете в Интернете. Ожидайте, что проекты пройдут серьезные изменения с серьезными проблемами обратной совместимости. Кстати, вы просмотрели раздел HOWTO на веб-сайте? –

Смежные вопросы