2016-04-01 2 views
0

Я соскабливаю сайт для расписаний крикета. Я пользуюсь красивым супом. Вот гиперссылкаСкремблирование URL-адресов с помощью BeautifulSoup

www.ecb.c0.uk/stats/fixtures-results?m=1&y=2016 

Это относится ко всем светильникам в январе 2016 года
Я пытаюсь скрести другие годы и месяцы, а также. Есть ли способ изменить год в коде как часть царапины? Должен ли я поместить переменную в URL? Должен ли я сформировать цикл или цикл через список?

from bs4 import BeautifulSoup 
import requests 

html = requests.get("http://www.ecb.co.uk/stats/fixtures-results?m=1& y=2016").text 
soup = BeautifulSoup(html,'lxml') 

ответ

1

Вы можете использовать две петли, первые в течение многих лет, второй в течение нескольких месяцев:

base_url = "http://www.ecb.co.uk/stats/fixtures-results?m={month}&y={year}" 

for year in range(2000, 2017): 
    for month in range(1, 13): 
     requests.get(base_url.format(month=month, year=year)) 

Или еще короче вариант с itertools:

for year, month in itertools.product(range(2000, 2017), range(1, 13)): 
    requests.get(base_url.format(month=month, year=year)) 
+0

Привет Мауро Оба метода работали большие, большое спасибо для этого. :) – moonshadow

Смежные вопросы