Запросы на Python не отвечают

Выполнено несколько небольших успешных проектов, которые изо всех сил пытались получить запросы с этого сайта по возрасту - любые советы?Запросы на Python не отвечают

ОБНОВЛЕНИЕ - Хотеться бы, чтобы получить полный красивый запрос супа, чтобы я мог начать соскоб информации из таблиц

from bs4 import BeautifulSoup 
import requests 

r = requests.get("http://www.transfermarkt.co.uk/championship/marktwerte/wettbewerb/GB2") 
soup = BeautifulSoup(r.content,"html.parser") 
print soup

возвращающегося

<html> 
<head><title>404 Not Found</title></head> 
<body bgcolor="white"> 
<center><h1>404 Not Found</h1></center> 
<hr><center>nginx</center> 
</hr></body> 
</html>

источник

2015-12-23 PythonNoob12345

Что вы хотите, чтобы оно вернулось? (обновите свой вопрос!) (и добро пожаловать в SO!) – user1269942

Вам нужно делать вид, чтобы быть реальным пользователем с браузер и предоставить заголовок User-Agent:

r = requests.get("http://www.transfermarkt.co.uk/championship/marktwerte/wettbewerb/GB2", headers={ 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36" 
})

Демонстрация:

>>> from bs4 import BeautifulSoup 
>>> import requests 
>>> 
>>> r = requests.get("http://www.transfermarkt.co.uk/championship/marktwerte/wettbewerb/GB2", headers={ 
...  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36" 
... }) 
>>> soup = BeautifulSoup(r.content,"html.parser") 
>>> print(soup.title.get_text()) 
Top market values 15/16 - Championship - Transfermarkt

источник

2015-12-23 20:29:50 alecxe

Отлично, спасибо, что познакомил меня с пользовательскими агентами - скоро отметит решение – PythonNoob12345

nice..beat me by whisker! – user1269942

Запросы на Python не отвечают

ответ

Смежные вопросы