скоблить Сайты с Python + Beautiful Soup 4 Все страницы

Question

Я очень новичок в Python, и я пытаюсь Скрип данные с веб-сайта, но мне нужно все страницы, до сих пор у меня есть:

import requests 
from bs4 import BeautifulSoup 


r = requests.get ("http://www.somesite.com/records/08-jan-2016/") 
r.content 
soup = BeautifulSoup(r.content, "html.parser") 
full_info = soup.find_all("div", {"class": "col-sm-10"}) 

for item in full_info : print (item.text) 

Этот код печатает данные с текущей страницы, как я могу управлять данными со всех страниц и экспортироваться в файл.

С наилучшими пожеланиями

Answer 1

Лично я хотел бы использовать datetime библиотеку для арифметики дат - это то, что он предназначен. Однако, поскольку datetime - strftime - это основанный на локали, безопаснее выполнять построение строки вручную, если только вы не намереваетесь запустить это в известной локали, соответствующей веб-сайту.

import datetime 
MONTH_NAMES = {1: 'jan', 2: 'feb', 3: 'mar'} # and so on 
ONE_DAY = datetime.timedelta(1) 

def date_strings(first_date, last_date): 
    current_date = first_date 
    while current_date <= last_date: 
     yield '{0.day:02}-{1}-{0.year:04}'.format(
      current_date, MONTH_NAMES[current_date.month]) 
     # If running on a US locale, you can just use: 
     # yield current_date.strftime('%d-%b-%Y').lower() 
     current_date += ONE_DAY 

first_date = datetime.date(2016, 1, 8) 
last_date = datetime.date(2016, 3, 29) 

for date_string in date_strings(first_date, last_date): 
    print(date_string) 
    # Do whatever scraping you need using date_string 

Answer 2

Так, чтобы добавить к вопросу, поднятому в комментариях, как перебираются через несколько дат. Я не самый опытный программист, но я бы создал словарь с ключом : значение =>месяц: количество дней в месяц. Затем вы можете создать вложенный цикл для создания строк для добавления к URL-адресу.

dates = {"jan":31, "feb":29, "mar":31} 
for month in dates: 
    for day in range(dates[month]): 
    url = "https://www.somepage.com/{0}-{1}-2016".format(str(day+1), month) 
    req = requests.get(url) 
    ...