web crawler in python (несколько сайтов)

Question

Я использовал requests и bs4. В кругу я обнаружил, что только последний «суп» прав, когда я получаю каждый «суп». Другой «суп» отличается от источника HTML. Пожалуйста, помогите мне. Благодарю.

for eachLine in files: 
    addr = 'http://neuromorpho.org/neuron_info.jsp?neuron_name='+eachLine 
    print addr 
    st = [] 
    st1 = [] 
    r2 = requests.get(addr) 
    soup2 = bs4.BeautifulSoup(r2.text,"lxml") 
    print soup2 

Answer 1

Объект запроса имеет параметр контента, который имеет все содержание сайта, и вы можете разобрать его с помощью BS4

for eachLine in files: 
    addr = 'http://neuromorpho.org/neuron_info.jsp?neuron_name='+eachLine 
    r2 = requests.get(addr) 
    content = r2.content 
    soup2 = bs4.BeautifulSoup(content) 
    print soup2