Beautifulsoup scraping book catalog

Question

for i in range(1,1000000): 

    page = urllib2.urlopen("http://www.palgrave.com/products/title.aspx?pid="+str(i)) 
    print "http://www.palgrave.com/products/title.aspx?pid="+str(i) 
    soup = BeautifulSoup(page) #retreive 

    books = soup.findAll("div",{"id":"Title"}) #process 

Мне нужно проползти весь каталог для издателя. мне нужно получить:

• Книга
• Название
• издание
• Издательство
• PubDate
• PriceCurrency
• ISBN13
• Описание (в пределах вкладке AJAX)

Answer 1

Использование XPath для извлечения содержимого из этих мест