Запросы на Python Получить XML

Question

Если я перехожу к http://boxinsider.cratejoy.com/feed/, я могу просто увидеть XML. Но когда я пытаюсь получить к нему доступ с использованием запросов python, я получаю ошибку 403.

blog_url = 'http://boxinsider.cratejoy.com/feed/' 
    headers = {'Accepts': 'text/html,application/xml'} 
    blog_request = requests.get(blog_url, timeout=10, headers=headers) 

Любые идеи о том, почему?

Answer 1

Поскольку он размещен WPEngine и они фильтруют пользовательские агенты.

Попробуйте это:

USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36" 

requests.get('http://boxinsider.cratejoy.com/feed/', headers={'User-agent': USER_AGENT})