данные адресности с помощью питона и URLLIB из URL

Я пытаюсь получить данные из кучу ссылок, как это с помощью Python: http://weixin.sogou.com/gzhjs?openid=oIWsFt8N-gU3_naAv2n3AnqjOOxU данные адресности с помощью питона и URLLIB из URL

Мой код Python является:

import urllib,urllib2,json 

url = "http://weixin.sogou.com/gzhjs?openid=oIWsFt8N-gU3_naAv2n3AnqjOOxU" 
request = urllib2.Request(url) 
request.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.91 Safari/537.36') 
reader= urllib2.urlopen(request) 
html = reader.read()

код работает отлично вчера, но теперь это не работает. Он должен иметь загрузить XML-файл, но теперь она дает мне это:

<html> 
<head> 
    <script> 
     var uri = document.location.href; 
     var pos = uri.indexOf("?"); 
     if(pos!=-1)uri = uri.substr(0,pos); 
     var domain = ".sogou.com"; 
     if(uri.indexOf("soso.com")>-1)domain = ".soso.com"; 

     var date = new Date(); 
     if(document.cookie.indexOf("SUV=")<0) 
      document.cookie="SUV="+(date.getTime())*1000+Math.round(Math.random()*1000)+";path=/;expires=Sun, 29 July 2046 00:00:00 UTC;domain="+domain; 

     date.setTime(date.getTime()+5*24*3600*1000);//2tian 
     document.cookie = "SNUID=AB707C4A02040F4BE86655C002DB2A56; path=/; expires="+date.toGMTString(); 
     document.location.href = "/gzhjs?openid=oIWsFt117ihh9P7iiF02d-BNez-I&repp=1"; 
    </script> 
</head> 
</html><!--zly-->

Я могу открыть его в Chrome и все было хорошо. Я предполагаю, что сайт блокирует меня из-за того, что они нашли мой IP-адрес? Или, может быть, я не очень хорошо маскировал свой код в качестве веб-браузера ... Может ли кто-нибудь помочь мне, пожалуйста? Спасибо.

источник

2015-01-23 fuermosi777

Что-то странное происходит, потому что я получаю jsonp (десять документов xml, завернутый в javascript dict, завернутый в неопределенный вызов функции javascript).

Я сделал простой ГЭТ, не агент пользователя не определено, и получил (добавлены некоторые элементы форматирования):

gzh({ 
    "totalItems":193, 
    "totalPages":20, 
    "page":1, 
    "items": [ 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-71505ef54027c3f93947957962368b80<\/docid> <tplid>550<\/tplid><title><![CDATA[阿里巴巴COO逍遥子:电商行业与阿里巴巴,正发生这八...]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202618157&idx=1&sn=344f370efc1445b5d2c04b625bc77b5a&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[阿里巴巴COO逍遥子:电商行业与阿里巴巴,正发生这八个方面的变化]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCssGwCO9Mr5xURs7ckoXtlaPh2iauiaOod3hJibRr9QyOXljotwp43ajTfH9geyveGb0toFCgegQMXgzw/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!今天非常高兴来到这个会场...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-22]]><\/date><pagesize><![CDATA[53k]]><\/pagesize> <lastModified>1421942184<\/lastModified><pagesize>54k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-cdb7e1bbde7b52191a043c4e5e27c7d6<\/docid> <tplid>550<\/tplid><title><![CDATA[有一种人,无论你聊啥,她都能跟你聊得很投机]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202618157&idx=3&sn=ebc6f7126a23b39afe2e9fb36214bd35&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[有一种人,无论你聊啥,她都能跟你聊得很投机]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCssGwCO9Mr5xURs7ckoXtlaPuqo5OzbfjSXibBjibsn5qpNrqzNZ3Anl4kxGf9RctJMouzZU1re9icsmA/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[社会就像一个大染缸,五颜六色......但总有那么一种颜色、那么一种人,璀璨夺目!一见如故、难以忘记!比如你喜欢诗歌,他也懂,你喜欢研究手机,他也懂,你喜欢理财,他也懂,甚至你讨论男人或者女人的那点事,他也一样款款道来.他总是让人觉得有见识、有内涵,懂得多,还体贴!...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[社会就像一个大染缸,五颜六色......但总有那么一种颜色、那么一种人,璀璨夺目!一见如故、难以忘记!比如你喜欢诗歌,他也懂,...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-22]]><\/date><pagesize><![CDATA[85k]]><\/pagesize> <lastModified>1421942183<\/lastModified><pagesize>86k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-c5457fbba8895612925cf43a9f6f11cb<\/docid> <tplid>550<\/tplid><title><![CDATA[2015,后微信时代的社交产品市场展望]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202618157&idx=2&sn=6348646973e9522bd65ef4ef97fa98c0&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[2015,后微信时代的社交产品市场展望]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCssGwCO9Mr5xURs7ckoXtlaPnZkv766FCVs952icTodMEYre6sEBZpewTzr5O4oFoVZdrNUdAgpictwg/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!社交产品细分几何2015 年 1...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-22]]><\/date><pagesize><![CDATA[47k]]><\/pagesize> <lastModified>1421942183<\/lastModified><pagesize>48k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-53e90ae9426327c179e3b628fa46e2a7<\/docid> <tplid>550<\/tplid><title><![CDATA[手哥的一篇被毙掉的演讲稿(犀利且干货)]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202595014&idx=1&sn=aa5e98c7e0f309703af7603008fa8ae5&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[手哥的一篇被毙掉的演讲稿(犀利且干货)]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCssiaXFqE2PY8reOp2zbibDbZK39FtBZUQ2B1pNFLaqfibsiboHCjtApTTytRPESJjxibu4ILuVl8LXP5Ww/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!手哥(留一手)是个很神奇...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-21]]><\/date><pagesize><![CDATA[103k]]><\/pagesize> <lastModified>1421855892<\/lastModified><pagesize>104k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-0b9bb614e1d37498d88c7a1f4bf8ea5e<\/docid> <tplid>550<\/tplid><title><![CDATA[尹生重访谈:王兴:谁先上市谁认输]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202595014&idx=2&sn=72a9a195ea12d17a63b71ae2eeb051a8&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[尹生重访谈:王兴:谁先上市谁认输]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCssiaXFqE2PY8reOp2zbibDbZKibmklmsP1XiaFnonNNcEoApLMicibgKpXs4a0YLicdNqHflgpOPJUMqP84w/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!摘要:2015年注定会是O2O...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-21]]><\/date><pagesize><![CDATA[107k]]><\/pagesize> <lastModified>1421855891<\/lastModified><pagesize>108k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-bccd2594635152dadb296d96c66ae96e<\/docid> <tplid>550<\/tplid><title><![CDATA[生活太枯燥,给你下点猛料!!!]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202595014&idx=3&sn=29157e392916428fde488168937bb07b&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[生活太枯燥,给你下点猛料!!!]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCssiaXFqE2PY8reOp2zbibDbZKPnqqAdsjBGy7kBvUnkRwCicPo36G5czxZLHWhpeBzsxiau3GxiafiaiaX3g/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[每日不停的劳累,很枯燥吧!小编从上百万公众号精心挑选了一批最能滋润生活的公众号,已经逐个体验过,真的很不错.赶紧挨个关注吧!关注小妙招:1、长按蓝色区域字母即可复制;2、在右上角+→添加朋友粘贴微信号搜索即可关注成励志微信号:lizhi878【←长按复制】推荐理由:大多...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[每日不停的劳累,很枯燥吧!小编从上百万公众号精心挑选了一批最能滋润生活的公众号,已经逐个体验过,真的很不错.赶紧挨个关...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-21]]><\/date><pagesize><![CDATA[97k]]><\/pagesize> <lastModified>1421855891<\/lastModified><pagesize>98k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-a20b5888c2d722450a63acec2fbf1602<\/docid> <tplid>550<\/tplid><title><![CDATA[中国好老板,年会出奇招]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202566720&idx=1&sn=0f09c9614d577e892c60a70e6298159b&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[中国好老板,年会出奇招]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCsuOGImGcW6lkbjQaebYnTaLFMqYWPMmGjsXPrOfhX4jV7G1sLZOic2Mmicr19WDKKficI6AWLgTiakfYw/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[近日,有网友爆料,某公司老板购买100多台“总统手机”作为年终福利,公司员工每人一台. 据说,公司行政本来打算用iPhone6作为年终福利的,但该老板是习大大的死忠粉,于是改送“总统手机”,而且作为“阳光普照奖”,每人一台! 小编表示,当iPhone6成为街机,果然年终福利发...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[近日,有网友爆料,某公司老板购买100多台“总统手机”作为年终福利,公司员工每人一台. 据说,公司行政本来打算用iPhone6作...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-20]]><\/date><pagesize><![CDATA[11k]]><\/pagesize> <lastModified>1421747542<\/lastModified><pagesize>12k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-051a0a17f31767a5cb7828e8705d530d<\/docid> <tplid>550<\/tplid><title><![CDATA[创业者们给出的30条最佳建议]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202566720&idx=5&sn=db7e5e12b65ff9f783a58d59935ec2f7&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[创业者们给出的30条最佳建议]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCsuOGImGcW6lkbjQaebYnTaLX7d81oA3KQXjJQbNYj4jTXecxzUALEyBkLtSgbeaLic0Y4zcJZAJK6Q/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!去年年初,我曾与卡恩·马...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-20]]><\/date><pagesize><![CDATA[125k]]><\/pagesize> <lastModified>1421747541<\/lastModified><pagesize>126k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-4cd0bdf007f84f42eb1ce346b45a9bc2<\/docid> <tplid>550<\/tplid><title><![CDATA[红杉资本大讲堂第一季:生活服务O2O领域的干货分享]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202566720&idx=3&sn=822ea3e96ac8b98da73bf3f7713ed9d9&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[红杉资本大讲堂第一季:生活服务O2O领域的干货分享]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCsuOGImGcW6lkbjQaebYnTaLrYJmniaOIs0EFKtxShehx2wRvt4O9Q4CWVRgyTCawsOCLVRxrzfx7SQ/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!红杉资本中国基金合伙人周...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-20]]><\/date><pagesize><![CDATA[86k]]><\/pagesize> <lastModified>1421747541<\/lastModified><pagesize>87k<\/pagesize> <\/display><\/item><\/DOCUMENT>", 
     "<?xml version=\"1.0\" encoding=\"gbk\"?><DOCUMENT><docid><\/docid><item> <key><![CDATA[http://mp.weixin.qq.com/]]><\/key><tplid><![CDATA[555]]><\/tplid><classid>11002601<\/classid> <display> <docid>ab735a258a90e8e1-6bee54fcbd896b2a-fee824b7c30a97d4bc427157f80a29e4<\/docid> <tplid>550<\/tplid><title><![CDATA[今日资本徐新:“90后”快让夜总会小姐失业了!]]><\/title><url><![CDATA[http://mp.weixin.qq.com/s?__biz=MjM5MzkwMzk2MA==&mid=202566720&idx=2&sn=e6fa18d7eb6da66852963be5b256a534&3rd=MzA3MDU4NTYzMw==&scene=6#rd]]><\/url><title1><![CDATA[今日资本徐新:“90后”快让夜总会小姐失业了!]]><\/title1><imglink><![CDATA[http://mmbiz.qpic.cn/mmbiz/wb0ay7PTCsuOGImGcW6lkbjQaebYnTaLsDX765312XQe98cNYg6GNbK43rZeY1MrDibmoDuibN5TGLZKufhHuENA/0]]><\/imglink><headimage><![CDATA[http://wx.qlogo.cn/mmhead/Q3auHgzwzM5LgV6Vr4ZM8wMl00eReUT7icQbTfuAGNIZZibcr66b5MXw/0]]><\/headimage><sourcename><![CDATA[钱皓-互联网分析师]]><\/sourcename><content168><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过30万的互联网从业者、投资人关注,其中微信粉丝近8万,微博关注粉丝22万多.每日分享互联网最新鲜,最深度,最有料的干货!移动互联网台风来了,连猪...]]><\/content168><isV><![CDATA[1]]><\/isV><openid><![CDATA[oIWsFt8N-gU3_naAv2n3AnqjOOxU]]><\/openid><content><![CDATA[钱皓-互联网分析师,微信号(qianhaoapp)国内知名的互联网分析师,现担任某知名VC的投资经理,欢迎创业者骚扰.目前已有超过...]]><\/content><showurl><![CDATA[微信 - mp.weixin.qq.com]]><\/showurl><date><![CDATA[2015-1-20]]><\/date><pagesize><![CDATA[67k]]><\/pagesize> <lastModified>1421747541<\/lastModified><pagesize>68k<\/pagesize> <\/display><\/item><\/DOCUMENT>" 
    ] 
}) 
//<!--8fc3d9e6-8e88-453b-9504-66ce9e895771--><!--1421990938880-->

... который кажется рациональным; в URL-адресе мы запрашиваем /gzhjs и, видимо, это то, что мы получаем.

источник

2015-01-23 05:40:11

Вы использовали python или webbrowser? Я использовал тот же результат, и я разбираю проводной json-файл и вынимаю xml. Но сценарий перестает работать с утра, я предполагаю, что это связано с тем, что я сделал слишком много запросов, и он запретил мой IP-адрес (я искал тысячи таких ссылок) – fuermosi777

Используйте более одного User-Agent и добавьте HTTP-заголовок Referer для воспроизведения больше похоже на настоящий браузер. Если вам запретили, я думаю, вы должны изменить IP-код своего кода. –

Я использую proxyHandler, и теперь он работает снова. Спасибо. @zoosuck – fuermosi777

данные адресности с помощью питона и URLLIB из URL

ответ

Смежные вопросы