Я хотел бы получить имена всех авторов от Google Scholar. Мой базовый url - http://scholar.google.pl/citations?view_op=search_authors&hl=pl&mauthors=label:security Так что в основном, я ищу авторов, которые что-то писали о безопасности.BeautifulSoup, Google Scholar, имена авторов, аффилиации и цитаты тоже
Я написал несколько сценарий Python с использованием BeautifulSoup, но (не знаю почему) сценарий показывает пустые списки, как он не нашел никаких данных элементов (однако, когда я смотрю в исходный код страницы, я вижу <div class="gsc_1usr_text">
элементы) ,
Heres мой код:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
url = "http://scholar.google.pl/citations?view_op=search_authors&hl=pl&mauthors=label:security"
content = urllib2.urlopen(url).read()
soup = BeautifulSoup(content)
mydivs = soup.findAll("div", { "class" : "gsc_1usr_text" })
print mydivs
и выход []
, print "LEN = " + str(len(mydivs))
показывает мне 0.
Im используя Python 2.7.3 на Linux Mint 13.
это работает для меня .. –
@AvinashRaj: Интересно! Не могли бы вы показать мне свой результат? У меня есть только пустые списки, не знаю почему :( – mazix