Я пытаюсь скрести веб-таблицу с использованием BeautifulSoup и python2.7BeautifulSoup неполная таблица парсинг в Python
Запрос в порядке, но разбор является неполным. Кажется, что останавливается около 1668 ячеек независимо от реальной длины стола.
Вот код:
import os, time, string, operator, requests
from bs4 import BeautifulSoup
url='http://fse.vdkruijssen.eu/ferrylist.php'
params ={'selectplane':'Cessna 208 Caravan','submit':''}
response=requests.post(url, data=params)
soup = BeautifulSoup(response.text, "lxml")
table = soup.find(id="ferryplane")
for tr in table.find_all('tr', class_=True): # filter the row that without text
row = [cell.text for cell in tr.find_all('td')]
print(row)
Как я могу retrive все клетки?
Я довольно новый для веб выскабливания, любая помощь будет очень признателен
Спасибо!
EDIT: По-видимому, никаких проблем с кодом нет. Я все еще получаю усеченный ответ, как показано (последние строки). Если у вас есть представление о том, что вызывает это, скажите мне!
Спасибо за ответ, но это дает мне тот же результат: Последний выход усечено, а в конце таблицы отсутствует – MagicP
@MagicP, какая строка отсутствует? –
@MagicP проверить мой снимок экрана –