установка urlib и beautifulsoup в python 2.7

Question

Я новичок в python. Написал небольшую программу для извлечения всех ссылок на странице. Я использую python 2.7, тот, который поставляется с Ubuntu. Я использовал разные источники, чтобы скомпоновать код, но кажется, что я либо пропускаю библиотеку, либо использую нужную библиотеку для неправильной версии python.

import sys 
from bs4 import * 
import urllib2 
import re 

if len(sys.argv) != 2: 
    print "USAGE:" 
    print "Python test.py Your_URL" 
else: 
     url = sys.argv[1] 

html_page = urllib2.urlopen(url) 
soup = BeautifulSoup(html_page) 
for link in soup.findAll('a'): 
    print link.get('href') 

Я получаю эту ошибку:

Traceback (most recent call last): 
    File "test.py", line 12, in <module> 
    html_page = urllib2.urlopen(url) 
    File "/usr/lib/python2.7/urllib2.py", line 154, in urlopen 
    return opener.open(url, data, timeout) 
    File "/usr/lib/python2.7/urllib2.py", line 421, in open 
    protocol = req.get_type() 
    File "/usr/lib/python2.7/urllib2.py", line 283, in get_type 
    raise ValueError, "unknown url type: %s" % self.__original 
ValueError: unknown url type: www.cs.odu.edu 

я установил BS4, urlib после питона. По-прежнему такая же ошибка.

Sudo APT установить питон

Sudo APT установить питона-пипсов

Судо пип установить BS4

Answer 1

При вводе URL в браузере без протокола, то по умолчанию для HTTP. urllib2 не сделает этого предположения для вас; вам нужно установить его с помощью http: //.

Дублированный: ValueError: unknown url type in urllib2, though the url is fine if opened in a browser

Answer 2

Попробуйте указать HTTP или HTTPS, прежде чем ваш URL, это, безусловно, работает.