500 + Веб-сайт Регистрация в Python для нескольких статусов

Question

• Я знаю, что существует несколько вопросов для проверки URL. Я очень новичок в python, поэтому, пытаясь понять из нескольких сообщений, и ищет новую библиотеку для справки. Я пытаюсь работать ниже для внутренних, а также внешних веб-сайтов. :

  Status Code 
      Status Description 
      Response Length 
      Time Taken 
      Websites are like ,, www.xyz.com , www.abc.log , www.abc.com/xxx/login.html and more combinations. Below is the 
  

  исходный код ..

  import socket 
  from urllib2 import urlopen, URLError, HTTPError 
  
  import urllib 
  socket.setdefaulttimeout(23) # timeout in seconds 
  #print "---------URL----------", " ---Status Code---" 
  url='https://www.google.com' 
  
      try : 
       response = urlopen(url) 
      except HTTPError, e: 
       print 'The server couldn\'t fulfill the request. Reason:', str(e.code) 
       #Want to get code for that but its not showing 
  
      except URLError, e: 
       print 'We failed to reach a server. Reason:', str(e.reasonse) 
       #Want to get code for that but its not showing 
  
  
      else : 
  
       code=urllib.urlopen(url).getcode() 
       **#here getcode is working 
       print url,"-------->", code 
       #print 'got response!' 
  

• Я хочу, чтобы проверить, если сайт существует или не первый. Затем пойдет за остальными чеками, как указано выше. Как организовать это для работы для все перечисленные пункты для 500 + URL. Нужно ли импортировать из txt-файла ? Также еще один момент, который я видел, что, если работает www.xyx.com, и www.xyz.com/lmn.html не существует, он все еще показывает 200.

Answer 1

Я думаю, что вы можете наличие страницы с этим кодом:

import httplib 
from urlparse import urlparse 

def chkUrl(url): 
    p = urlparse(url) 
    conn = httplib.HTTPConnection(p.netloc) 
    conn.request('HEAD', p.path) 
    resp = conn.getresponse() 
    return resp.status < 400 

if __name__ == '__main__': 
    print chkUrl('http://www.stackoverflow.com') # True 
    print chkUrl('http://stackoverflow.com/notarealpage.html') # False