скребковые данные из двух разных страниц, имеющих те же URL

Question

Я пытаюсь ломом данные с этого сайта

http://www.professorpaddle.com/rivers/riverlist.asp

Для различных состояний URL является same.For примера вашингтона страницы и страница Орегона есть же url.How написать один скрипт для удаления данных для каждого состояния по выбору пользователя в python?

Answer 1

В этом случае данные создаются динамически на странице. Таким образом, вы должны сделать некоторые почтовые запросы для получения данных с сервера. Вы можете сделать это, используя requests. Если вы используете Firefox или Google Chrome, вы можете использовать инструмент проверки, чтобы найти те запросы, которые выполняет JavaScript. В данном конкретном случае, вы можете получить данные таким образом:

import requests 

# for Washington 
data = requests.post("http://www.professorpaddle.com/rivers/riverlist.asp", data={"hstateid":13}).text 

Чтобы получить все данные:

all_data = [] 
for state in range(65): # I got this range manually 
    data = requests.post("http://www.professorpaddle.com/rivers/riverlist.asp", data={"hstateid":state}).text 
    all_data.append(data)