Как получить следующую ссылку на страницу в python beautifulsoup?

Question

У меня есть эта ссылка:

http://www.brothersoft.com/windows/categories.html 

Я пытаюсь получить ссылку на элемент внутри DIV. Пример:

http://www.brothersoft.com/windows/mp3_audio/midi_tools/ 

Я попробовал этот код:

import urllib 
from bs4 import BeautifulSoup 

url = 'http://www.brothersoft.com/windows/categories.html' 

pageHtml = urllib.urlopen(url).read() 

soup = BeautifulSoup(pageHtml) 

sAll = [div.find('a') for div in soup.findAll('div', attrs={'class':'brLeft'})] 

for i in sAll: 
    print "http://www.brothersoft.com"+i['href'] 

Но я только получаю выход:

http://www.brothersoft.com/windows/mp3_audio/ 

Как я могу получить выход, что мне нужно?

Answer 1

Url http://www.brothersoft.com/windows/mp3_audio/midi_tools/ нет в тегах <div class='brLeft'>, поэтому если выход http://www.brothersoft.com/windows/mp3_audio/, это правильно.

Если вы хотите, чтобы получить URL вы хотите, изменить

sAll = [div.find('a') for div in soup.findAll('div', attrs={'class':'brLeft'})] 

к

sAll = [div.find('a') for div in soup.findAll('div', attrs={'class':'brRight'})] 

UPDATE:

пример, чтобы получить информацию внутри 'midi_tools'

import urllib 
from bs4 import BeautifulSoup 

url = 'http://www.brothersoft.com/windows/categories.html' 
pageHtml = urllib.urlopen(url).read() 
soup = BeautifulSoup(pageHtml) 
sAll = [div.find('a') for div in soup.findAll('div', attrs={'class':'brRight'})] 
for i in sAll: 
    suburl = "http://www.brothersoft.com"+i['href'] #which is a url like 'midi_tools' 

    content = urllib.urlopen(suburl).read() 
    anosoup = BeautifulSoup(content) 
    ablock = anosoup.find('table',{'id':'courseTab'}) 
    for atr in ablock.findAll('tr',{'class':'border_bot '}): 
     print atr.find('dt').a.string  #name 
     print "http://www.brothersoft.com" + atr.find('a',{'class':'tabDownload'})['href'] #link