Python: urlopen() по сравнению с CURL

Question

Я пишу webcrawler, используя Python и наслаждаясь этим много! Но я заметил некоторые различия между результатом, полученным от urlopen(url).read() на Python и curl на терминале. Я пробовал install the pycurl module без успеха. Есть ли простой способ получить результат CURL на Python?

ОБНОВЛЕНИЕ

В этом случае я разобран this URL. Я передал те же заголовки по обоим запросам User-Agent: Mozilla/5.0. Вот выходы: выход

• Curl: http://pastebin.com/PmmNhsbba
• urlopen выход: http://pastebin.com/7Wrt8pQZ

Answer 1

Я знаю, что это старый вопрос, но, возможно, ответ может быть еще полезен.

У меня была такая же проблема, и я решил ее создать, создав файл php, который печатал заголовки запросов. Затем я выполнил curl и urlopen, и я проверил различия между заголовками. Вы можете найти пример этого скрипта в PHP docs.

Кроме того, вы можете перейти в ваш браузер и проверить, какие заголовки отправляются. Сделав это, я увидел, что urlopen отправляет connection: close вместо keep-alive.

Итак, я добавлю заголовок keep-alive, а urlopen начал работать как curl. Это была моя конкретная проблема, но, возможно, у вас разные из-за требований к серверу, и вам нужно добавить или удалить другой заголовок.