Работа с пустыми ячейками с веб-страницы

Question

Я пытаюсь получить все данные из таблицы баскетбольной ссылки (http://www.basketball-reference.com/leagues/NBA_2015_per_poss.html). Когда я использую XPath для получения данных, он входит в один длинный список. У меня есть метод «кусков», который будет делить список на несколько списков, но, поскольку в таблице есть пустые ячейки, метод выходит и делит список неправильно. Есть ли способ справиться с этим?

Answer 1

Мое предложение: используйте pandas.DataFrame. Он может загружать данные из многих источников, включая HTML.

Вы можете легко обрабатывать пустые ячейки с помощью метода fillna.

Рассмотрим следующий пример:

import pandas as pd 

# read_excel returns list of dataframes. 
# In this case we know there is only one in the page 
df = pd.read_html('http://www.basketball-reference.com/leagues/NBA_2015_per_poss.html', 
        attrs={'id': 'per_poss'})[0] 

# the headers repeat every 20 lines, filtering them out 
df = df[df['Rk'] != 'Rk'] 

# inserting 0 to empty cells 
# could also use inplace=True kwarg instead of reassigning, or pass a 
# dictionary to use different value for each column 
df = df.fillna(0)