Parse HTML Table with Python BeautifulSoup

Question

Я пытаюсь использовать BeautifulSoup для анализа таблицы html, которую я загрузил в http://pastie.org/8070879, чтобы получить три столбца (от 0 до 735, от 0.50 до 1.0 и от 0.5 до 0.0) в виде списков. Чтобы объяснить, почему, я хочу, чтобы целые числа 0-735 были ключами, а десятичные числа - значениями.

Из чтения многих других сообщений на SO, я придумал следующее, которое не подходит для создания списков, которые я хочу. Все это делает отображать текст в таблице, как видно здесь http://i1285.photobucket.com/albums/a592/TheNexulo/output_zps20c5afb8.png

from bs4 import BeautifulSoup 

soup = BeautifulSoup(open("fide.html")) 
table = soup.find('table') 

rows = table.findAll('tr') 

for tr in rows: 
    cols = tr.findAll('td') 
    for td in cols: 
    text = ''.join(td.find(text=True)) 
    print text + "|", 
    print 

Я новичок в Python и BeautifulSoup, поэтому, пожалуйста, быть нежным со мной! Спасибо

Answer 1

HTML-парсеры, такие как BeautifulSoup, предполагают, что вы хотите, это объектная модель, которая отражает входную структуру HTML. Но иногда (как в этом случае) эта модель оказывается на пути больше, чем помогает. Pyparsing включает некоторые функции синтаксического анализа HTML, которые более надежны, чем просто использование сырых регулярных выражений, но в противном случае работают аналогичным образом, позволяя вам определять фрагменты HTML-интереса и просто игнорировать остальные. Вот парсер, который читает Опубликованная источник HTML:

from pyparsing import makeHTMLTags,withAttribute,Suppress,Regex,Group 

""" looking for this recurring pattern: 
      <td valign="top" bgcolor="#FFFFCC">00-03</td> 
      <td valign="top">.50</td> 
      <td valign="top">.50</td> 

    and want a dict with keys 0, 1, 2, and 3 all with values (.50,.50) 
""" 

td,tdend = makeHTMLTags("td") 
keytd = td.copy().setParseAction(withAttribute(bgcolor="#FFFFCC")) 
td,tdend,keytd = map(Suppress,(td,tdend,keytd)) 

realnum = Regex(r'1?\.\d+').setParseAction(lambda t:float(t[0])) 
integer = Regex(r'\d{1,3}').setParseAction(lambda t:int(t[0])) 
DASH = Suppress('-') 

# build up an expression matching the HTML bits above 
entryExpr = (keytd + integer("start") + DASH + integer("end") + tdend + 
        Group(2*(td + realnum + tdend))("vals")) 

Этот анализатор не только выбирает подходящие троек, он также извлекает старт класса целых и пар действительных чисел (а также уже преобразующий из строки к целым числам или поплавкам во время разбора).

Глядя на стол, я предполагаю, что вам действительно нужен поиск, который займет такой ключ, как 700, и вернет пару значений (0,99, 0,01), так как 700 попадает в диапазон 620-735. Этот бит кода ищет исходный HTML-текст, перебирает соответствующих записей и вставляет пар ключ-значение в Словаре поиска:

# search the input HTML for matches to the entryExpr expression, and build up lookup dict 
lookup = {} 
for entry in entryExpr.searchString(sourcehtml): 
    for i in range(entry.start, entry.end+1): 
     lookup[i] = tuple(entry.vals) 

А теперь попробовать несколько подстановочных:

# print out some test values 
for test in (0,20,100,700): 
    print (test, lookup[test]) 

печатает:

0 (0.5, 0.5) 
20 (0.53, 0.47) 
100 (0.64, 0.36) 
700 (0.99, 0.01) 

Answer 2

Я думаю, что выше ответ лучше, чем то, что я хотел бы предложить, но у меня есть ответ BeautifulSoup, который может получить вы начали. Это немного хаки, но я подумал, что предлагаю его все же.

С BeautifulSoup, вы можете найти все тег с определенными атрибутами следующим образом (предполагается, что у вас есть soup.object уже создан):

soup.find_all('td', attrs={'bgcolor':'#FFFFCC'}) 

Это будет найти все ваши ключи. Трюк состоит в том, чтобы связать их со значениями, которые вы хотите, которые все появляются сразу же и которые попарно (если эти вещи меняются, кстати, это решение не будет работать).

Таким образом, вы можете попробовать следующее, чтобы получить доступ Далее ваши ключевые элементы и поместить те в your_dictionary:

for node in soup.find_all('td', attrs={'bgcolor':'#FFFFCC'}): 
    your_dictionary[node.string] = node.next_sibling 

Проблема заключается в том, что «next_sibling» на самом деле является «\ п», так что у вас есть сделать следующее, чтобы захватить следующую значения (первое значение, которое вы хотите):

for node in soup.find_all('td', attrs={'bgcolor':'#FFFFCC'}): 
    your_dictionary[node.string] = node.next_sibling.next_sibling.string 

И если вы хотите следующие значения два, вы должны удвоить это:

for node in soup.find_all('td', attrs={'bgcolor':'#FFFFCC'}): 
    your_dictionary[node.string] = [node.next_sibling.next_sibling.string, node.next_sibling.next_sibling.next_sibling.next_sibling.string] 

Отказ от ответственности: эта последняя строка довольно уродливая для меня.

Answer 3

Я использовал BeautifulSoup 3, но это, вероятно, будет работать под 4.

# Import System libraries 
import re 

# Import Custom libraries 
from BeautifulSoup import BeautifulSoup 

# This may be different between BeautifulSoup 3 and BeautifulSoup 4 
with open("fide.html") as file_h: 
    # Read the file into the BeautifulSoup class 
    soup = BeautifulSoup(file_h.read()) 

tr_location = lambda x: x.name == u"tr" # Row location 
key_location = lambda x: x.name == u"td" and bool(set([(u"bgcolor", u"#FFFFCC")]) & set(x.attrs)) # Integer key location 
td_location = lambda x: x.name == u"td" and not dict(x.attrs).has_key(u"bgcolor") # Float value location 

str_key_dict = {} 
num_key_dict = {} 
for tr in soup.findAll(tr_location): # Loop through all found rows 
    for key in tr.findAll(key_location): # Loop through all found Integer key tds 
     key_list = [] 
     key_str = key.text.strip() 
     for td in key.findNextSiblings(td_location)[:2]: # Loop through the next 2 neighbouring Float values 
      key_list.append(td.text) 
     key_list = map(float, key_list) # Convert the text values to floats 

     # String based dictionary section 
     str_key_dict[key_str] = key_list 

     # Number based dictionary section 
     num_range = map(int, re.split("\s*-\s*", key_str)) # Extract a value range to perform interpolation 
     if(len(num_range) == 2): 
      num_key_dict.update([(x, key_list) for x in range(num_range[0], num_range[1] + 1)]) 
     else: 
      num_key_dict.update([(num_range[0], key_list)]) 

for x in num_key_dict.items(): 
    print x