Получить данные из таблицы html

Question

Мне нужно получить данные с нескольких страниц. Данные хранятся в html-таблицах. Я хочу сгенерировать SQL-файл, который сохраняет их в моей базе данных. Одна из моих целей - these results.

Самый простой способ обработки сайтов - это JavaScript, но как запустить скрипт на каждом сайте и записать результаты на мой жесткий диск?

Я также могу загрузить все необходимые сайты с помощью wget и обработать их с помощью Python, если у него были необходимые библиотеки для работы с html.

Answer 1

Если я правильно понял, вы в основном должны очистить контент от сети и сохранить его в базе данных.

Возможно, я бы воспользовался сценарием Python, который просматривает веб-страницу с помощью библиотеки urllib2, а затем анализирует ее каким-то образом в зависимости от необходимого содержимого (regexp, BeautifulSoup и т. Д.).

Взгляните на этот вопрос: Web scraping with Python