Beautifulsoup, максимальная глубина рекурсии достигнута

Question

Это beautifulsoup процедура, которая захватывает содержимое во всех <p> тегах html. После захвата содержимого с некоторых веб-страниц я получаю сообщение об ошибке, указывающее, что максимальная глубина рекурсии превышена.

def printText(tags): 
    for tag in tags: 
     if tag.__class__ == NavigableString: 
      print tag, 
     else: 
      printText(tag) 
    print "" 
#loop over urls, send soup to printText procedure 

Дно следа:

File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 13, in printText 
    if tag.__class__ == NavigableString: 
RuntimeError: maximum recursion depth exceeded in cmp 

Answer 1

Вы, вероятно, ударил строку. Итерирование по строке дает строки длиной 1. Итерация по этой 1-строчной строке дает строку длиной 1. Итерация свыше THAT 1-length string ...

Answer 2

Ваш printText() вызывает себя рекурсивно, если встречается с чем-либо другим, кроме NavigableString. Сюда входят подклассы NavigableString, такие как комментарий. Вызов printText() в комментарии повторяет текст комментария и вызывает бесконечную рекурсию, которую вы видите.

Я рекомендую использовать isinstance() в вашем, если заявление вместо сравнения объектов класса:

if isinstance(tag, basestring): 

Я диагностирована эту проблему вставив оператор печати до рекурсии:

print "recursing on", tag, type(tag) 
printText(tag) 

Answer 3

Я имел та же проблема. Если у вас есть вложенные теги с глубиной около 480 уровней, и вы хотите преобразовать этот тег в строку/unicode, вы получите . Каждому уровню нужны два вложенных вызова метода, и вскоре вы нажмете по умолчанию 1000 вложенных вызовов python. Вы можете повысить этот уровень, или вы можете использовать этот помощник. Он извлекает весь текст из html и отображает его в предварительном окружении:

def beautiful_soup_tag_to_unicode(tag): 
    try: 
     return unicode(tag) 
    except RuntimeError as e: 
     if not str(e).startswith('maximum recursion'): 
      raise 
     # If you have more than 480 level of nested tags you can hit the maximum recursion level 
     out=[] 
     for mystring in tag.findAll(text=True): 
      mystring=mystring.strip() 
      if not mystring: 
       continue 
      out.append(mystring) 
     return u'<pre>%s</pre>' % '\n'.join(out)