Link Checker (Spider Crawler)

Question

Я ищу ссылку, чтобы развернуть мой сайт и занести неверные ссылки, проблема в том, что у меня есть страница входа в начале, которая требуется. То, что я хочу, - это средство проверки ссылок, чтобы просмотреть детали входа в систему, а затем прокрутить остальную часть веб-сайта.

Любые идеи ребята будут оценены.

Answer 1

Я только недавно решил аналогичную проблему так:

import urllib 
import urllib2 
import cookielib 

login = 'user@host.com' 
password = 'secret' 

cookiejar = cookielib.CookieJar() 
urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar)) 

# adjust this to match the form's field names 
values = {'username': login, 'password': password} 
data = urllib.urlencode(values) 
request = urllib2.Request('http://target.of.POST-method', data) 
url = urlOpener.open(request) 
# from now on, we're authenticated and we can access the rest of the site 
url = urlOpener.open('http://rest.of.user.area') 

Answer 2

Вы хотите посмотреть модуль cookielib: http://docs.python.org/library/cookielib.html. Он реализует полную реализацию файлов cookie, которые позволят вам хранить данные для входа в систему. Когда вы используете CookieJar, вам просто нужно получить данные пользователя от пользователя (скажем, с консоли) и отправить правильный запрос POST.