Python Web Crawler from thenewboston

Question

Я недавно наблюдал за thenewboston видео при записи веб-искателя с использованием python. По какой-то причине я получаю SSLError. Я попытался установить его с помощью строки 6 кода, но не повезло. Любая идея, почему она бросает ошибки? Код вербально от thenewboston.

import requests 
from bs4 import BeautifulSoup 

def creepy_crawly(max_pages): 
    page = 1 
    #requests.get('https://www.thenewboston.com/', verify = True) 
    while page <= max_pages: 

     url = "https://www.thenewboston.com/trade/search.php?pages=" + str(page) 
     source_code = requests.get(url) 
     plain_text = source_code.text 
     soup = BeautifulSoup(plain_text) 

     for link in soup.findAll('a', {'class' : 'item-name'}): 
      href = "https://www.thenewboston.com" + link.get('href') 
      print(href) 

     page += 1 

creepy_crawly(1) 

Answer 1

Я сделал веб-сканер с помощью URLLIB, он может быть более быстрым и не имеет никаких проблем с доступом по протоколу HTTPS страниц, одна вещь, хотя в том, что он не проверяет сертификат сервера, это сделать его быстрее, но более опасным (уязвимы для мит-атак). пыльник есть пример использования этого Lib:

link = 'https://www.stackoverflow.com'  
html = urllib.urlopen(link).read() 
print(html) 

3 строки все, что вам нужно, чтобы захватить HTML со страницы, просто не так ли?

Подробнее о URLLIB: https://docs.python.org/2/library/urllib.html

Я также рекомендую вам использовать регулярное выражение на HTML, чтобы захватить другие ссылки, пример для этого (с помощью повторной библиотеки) будет:

for url in re.findall(r'<a[^>]+href=["\'](.[^"\']+)["\']', html, re.I): # Searches the HTML for other URLs 
     link = url.split("#", 1)[0] \ 
     if url.startswith("http") \ 
     else '{uri.scheme}://{uri.netloc}'.format(uri=urlparse.urlparse(origLink)) + url.split("#", 1)[0] # Checks if the HTML is valid and format it